7.3
深览指数
科技人人都是产品经理·AI异类弗兰克··AI 生成
清华这场 AI 论坛，我看到了AI交互的下一条曲线
本文记录并解读了清华人工智能研究院姚远关于全模态大模型的技术分享。核心论点是：AI交互性必须原生，不能靠ASR/TTS等pipeline拼凑，感知的边界就是智能的边界。团队用9B参数的开源模型MiniCPM-Omni 4.5及其OmniFlow架构验证了这条路线，实现了毫秒级时间对齐的全双工交互。适合关注AI前沿趋势、端侧模型部署与交互范式进化的开发者与产品经理阅读。原文 ↗
核心观点
- ▍AI交互性必须是模型原生的基础能力，不能靠ASR+TTS+pipeline拼凑，后者延迟高、脆弱且难以调试。
- ▍感知的边界就是智能的边界；模型需要原生感知真实世界的raw truth，才能实现更好的智能。
- 01姚远团队发布的MiniCPM-Omni 4.5（9B参数）采用语言模型主干加轻量级编解码器架构，通过OmniFlow将多模态信息按毫秒级时间戳切片对齐，实现输入输出不阻塞的全双工交互。
- 02OmniFlow不需要VAD（语音活动检测）工具判断该不该说话，模型在高频微轮次里自主判断是否响应、说几个token。
- 03端到端模型可在system prompt里加一小段音频，使模型学习特定声线和性格，无需拼接TTS/ASR。
- 04同尺寸模型，MiniCPM-Omni 4.5可用一张4090甚至Mac M5运行，而千问同尺寸Omni需要两张A100。
- 05传统模型交互模式像发邮件（用户轮和AI轮交替），人类是并行处理多模态信息、随时响应的多模态生物。
- 06互联网音视频动态数据的有效挖掘率最乐观估计仅10%，实际可能只有5%。
- 07论坛上提及了一系列demo：卡片游戏、白板画画、水果价格识别、马斯克声音克隆和哪吒音色交互。
- 08同等能力等级的闭源模型参数量快速缩小：去年100B能做的事，今年可能10B的模型就能平替。
反方 / 局限
- — OmniFlow架构使训练难度增大，细粒度信号稠密连接带来高控制力上限，但TTS训不好可能破坏语言模型能力。
- — 作者也承认全模态交互模型在多人/多机器环境中管理打断与拒识（如区分硬打断、附和、无关人说话）是本质难点，需要底层机制支持，结构不支持就做不到。
姚远清华人工智能研究院MiniCPM-Omni 4.5OmniFlow全模态大模型Thinking Machines Lab哈萨比斯（Demis Hassabis）OpenAI微轮次交互伴随态交互VAD（语音活动检测）
11 分钟 · 5 卡片 · 13 资料
读原文 →