5.5
深览指数
科技智东西·田 忠婷··AI 生成
阿里发实时语音交互模型!毫秒级响应不降智,还能边听边打断
阿里云发布Qwen-Audio-3.0-Realtime实时语音交互模型,通过在线策略蒸馏和多教师蒸馏框架,在保持毫秒级时延的同时,将文本大模型的推理能力迁移至语音模型,解决了传统语音助手“能听不能说”且“说快就傻”的痛点。官方评测显示,在口语化提问场景下,模型回答质量仅比书面化提示词低2个点,并在VStyle等S2S基准测试中取得SOTA。该模型目前可通过阿里云百炼API调用,Plus版和Flash版按token计费。原文 ↗
核心观点
- ▍阿里云Qwen-Audio-3.0-Realtime通过在线策略蒸馏和多教师蒸馏框架,首次在实时语音模型中实现“毫秒级响应不降智”——即在不牺牲响应速度的前提下,保留了文本大模型的完整推理能力和工具调用能力。
- 01在VoiceBench基准测试中,Qwen-Audio-3.0-Realtime Plus版本在书面化标准提示词下得分为92.5,口语化提示词下得分为90.5,差距仅2.0分,表明模型能适应真人说话的随意性。
- 02在S2S语音指令遵循公开基准VStyle上,该模型取得SOTA成绩。
- 032026年5月,其Preview版本Fun-Realtime-Audiochat在Artificial Analysis上以97.6%的语音推理能力和97.8%的对话流畅度登顶,超过GPT-Realtime-2(High)。
- 04模型支持用户无需明确指令即可自行调用外部工具(如地图),调用结果自动融入对话记忆,后续多轮追问可复用。
- 05模型内置“多模态感知的双工控制”子模型,通过分析音频信号、语义内容与声纹特征判断交互节奏,可在嘈杂环境中避免被误打断。
- 06定价方面,Plus版输入5元/百万token,输出40元/百万token;Flash版输入3元/百万token,输出30元/百万token。
反方 / 局限
- — 文章未提及模型在长尾领域、方言、或非英语语言上的表现,也未给出与竞品(如GPT-Realtime-2)在同等价格下的对比数据。
阿里云Qwen-Audio-3.0-Realtime在线策略蒸馏多教师蒸馏VoiceBenchVStyleArtificial AnalysisGPT-Realtime-2阿里云百炼Fun-Realtime-Audiochat
11 分钟 · 4 卡片 · 10 资料
读原文 →