LogoAIRosetta

阿里通义发布Qwen3.5-Omni:原生全模态AGI问世,音视频能力全面超越Gemini-3.1 Pro

Qwen

Summary阿里通义千问发布Qwen3.5-Omni,采用Hybrid-Attention MoE与原生多模态预训练,支持文本、图像、音频与音视频输入,256K上下文、113语种识别、36语种合成,在215项音视频任务中取得SOTA,性能与成本均优于Google Gemini-3.1 Pro,已通过阿里云百炼提供API服务,暂不开源。

2026年3月30日(周日),阿里巴巴通义千问团队正式发布新一代全模态大模型Qwen3.5‑Omni(简称Qwen3.5‑Omni),这是Qwen系列继2025年9月Qwen3‑Omni之后的又一次重大升级。Qwen3.5‑Omni实现真正“原生全模态”(natively omnimodal),无缝理解并处理文本、图像、音频及音视频输入,同时支持实时语音对话输出,成为目前全球领先的全模态大模型之一。

官方数据显示,Qwen3.5‑Omni在音视频理解、识别、交互等215项任务中取得SOTA(state‑of‑the‑art)成绩,整体性能超越Google Gemini‑3.1 Pro,成为全球最强全模态模型之一。目前,模型已通过阿里云百炼(ModelStudio)上线,提供Plus、Flash、Light三种Instruct版本API调用,暂无开源计划。

核心创新:Hybrid‑Attention MoE架构 + 原生多模态预训练

Qwen3.5‑Omni的最大亮点在于Thinker(思考模块)与Talker(对话模块)均采用Hybrid‑Attention MoE(混合注意力专家混合)架构。这一设计将线性注意力(Gated Delta Networks)与稀疏MoE相结合,既保留了传统注意力的高精度,又大幅提升长序列处理效率。相比前代Qwen3‑Omni,Qwen3.5‑Omni在多模态融合上实现“早期融合”(early fusion),从预训练阶段就将海量文本、视觉数据以及超过1亿小时的音视频数据进行原生联合训练,避免了后期模态对齐的性能损失。

具体能力突破包括:

  • 超长上下文与输入极限:支持256K长上下文,可一次性处理超过10小时纯音频或超过400秒720P(1FPS)音视频输入,远超多数竞品。
  • 多语言与实时交互:语音识别支持113种语种和方言,语音生成支持36种(较前代大幅提升);新增语义打断、音色克隆、语音控制等实时交互能力,让对话体验更接近人类。
  • 结构化音视频理解:可生成带时间戳的细粒度Caption,并实现可控结构化描述(用户可指定风格、长度、侧重点)。
  • 涌现能力:出现“音视频Vibe Coding”(氛围编程)⁠—⁠⁠—⁠用户对着镜头口述需求,模型即可自主生成APP、网页、游戏等复杂代码,展现出极强的具身智能潜力。

这些创新让Qwen3.5‑Omni从“多模态叠加”真正迈向“原生全模态AGI”,为短视频/直播平台、游戏开发、自媒体内容生产等场景提供端到端解决方案。

性能表现:多模态SOTA,成本极致优化

在215项音视频基准测试中,Qwen3.5‑Omni全面领先,其中音频理解、语音对话等关键指标超越Gemini‑3.1 Pro。模型在保持高性能的同时,推理效率显著提升:Plus版本每百万Tokens输入成本不到0.8元,仅为Gemini‑3.1 Pro的1/10左右,性价比优势明显。

与前代Qwen3‑Omni相比,Qwen3.5‑Omni在长上下文、多语言、音视频理解三大维度实现跃升,同时新增实时交互能力。相比国际竞品,Qwen3.5‑Omni在“真实世界多模态任务”上更具实用性,尤其适合中文及多语言场景。

商业落地与生态影响

Qwen3.5‑Omni的发布正值全球AI从“对话时代”向“代理时代”(agentic AI)转型的关键节点。阿里云百炼已同步开放API,企业用户可快速集成到短视频审核、直播字幕生成、游戏NPC对话、视频内容结构化分析等场景。通义千问App也同步更新,支持语音/视频实时交互。

对行业影响:

  • 加速中国全模态AI自主创新:在美中AI竞争中,Qwen3.5‑Omni以极低成本和高性能展现了中国大模型的“以小胜大”路线,为中小企业提供平价全模态能力。
  • 推动多模态应用爆发:音视频Vibe Coding等涌现能力或重塑内容创作、编程、教育等领域门槛,催生更多“视频即提示词”的新交互范式。
  • 全球竞争格局重塑:Gemini、GPT等国际巨头面临本土强力挑战,预计将加速多模态迭代。同时,Qwen系列的开源+API双轨策略,为全球开发者提供更多选择。

挑战与展望

尽管性能亮眼,Qwen3.5‑Omni目前暂未开源,仅限API调用,未来是否开放权重仍需观察。此外,全模态模型的算力消耗与实时性优化仍将是长期课题。

通义千问团队表示,Qwen3.5‑Omni是“向原生全模态AGI迈进”的重要一步。未来,随着更多模态融合和Agent能力增强,Qwen系列有望进一步缩小与国际顶尖模型的差距。

Qwen3.5‑Omni的发布,再次证明中国AI在多模态赛道已站稳全球第一梯队。它不仅为开发者与企业带来实用工具,更为全球AI生态注入“东方速度”与“成本优势”。在通用人工智能浪潮中,Qwen3.5‑Omni正以全模态能力,书写属于中国AI的新篇章。

▶️ 喜欢这篇内容?创作真的很辛苦!

欢迎关注我们的 YouTube 频道:
AI Rosetta

你的点赞、订阅和分享,是对我们最大的支持!🙏

更多AI新闻请访问: https://www.airosetta.com

CopyrightStatement

Comment

Please login before commenting

NoComments

RelatedNews

LoadingMore

阿里通义发布Qwen3.5-Omni:原生全模态AGI问世,音视频能力全面超越Gemini-3.1 Pro - Airosetta News