5.8
深览指数
产品量子位··AI 生成

又快又聪明,阿里发布Qwen-Audio-3.0-Realtime:实时语音大模型四项功能升级

阿里发布实时语音模型Qwen-Audio-3.0-Realtime,主打智商、Agent工具调用、共情对话与双工交互流畅度四项升级。文章详细介绍了模型在抗口语化提问退化、无需明确指令即可调用外部工具、情感化语音表达与嘈杂环境中断对话等层面的技术方案与指标。核心创新是采用On-Policy Distillation框架将文本大模型推理能力蒸馏到语音模型,辅以多教师蒸馏策略确保各能力线不偏科。适合对语音AI产品能力边界、Agent落地方向或阿里语音技术路线感兴趣的从业者阅读。原文 ↗

核心观点
  • Qwen-Audio-3.0-Realtime在智商、Agent工具调用、共情对话与双工交互流畅度四条主线同步升级,试图解决实时语音模型因压低时延而牺牲推理深度的行业通病。
  1. 01在VoiceBench基准上,Plus版本以书面化prompt得92.5分,口语化prompt得90.5分,仅下降2.0分,表明模型能扛住真人说话的随意性。
  2. 02在AudioMultiChallenge基准中,Flash版本标准和口语化prompt得分分别为43.6和38.1,仅下降5.5分。
  3. 03今年5月,Preview版本Fun-Realtime-Audiochat在语音推理能力指标上以97.6%登顶Artificial Analysis榜单。
  4. 04模型无需用户明确指令,即可自行调用外部工具(如地图、知识库),调用结果自动融入对话记忆,后续追问可自然衔接。
  5. 05共情对话方面,模型在S2S语音指令遵循基准VStyle上取得SOTA成绩,可依据语境调整语气、节奏、音调与情感,包括笑声、叹息等副语言信号。
  6. 06双工交互流畅度通过内置的“多模态感知的双工控制”子模型实现,能基于音频信号、语义内容与说话人声纹特征判断,在嘈杂环境中不被误打断,支持多说话人锁定与切换。
  7. 07模型采用On-Policy Distillation框架:语音模型边生成回答,边由文本大模型实时纠正。同时引入口语多轮偏好、通用、Agentic、音频理解四位教师进行多教师蒸馏。
反方 / 局限
  • 文章未提及模型在极端嘈杂环境下的双工稳定性边界、Agent工具调用的安全性与权限管控机制,也未给出与竞品在同等条件下的对比成本或部署资源需求。
4 分钟 · 5 卡片 · 13 资料
读原文 →

概念锚点

前置背景

平行视角

未来推演

延伸追问