8.6
深览指数
科技智东西··AI 生成
WAIC五位首席科学家交锋：多模态是LLM的“外挂”，还是下一代智能的“灵魂”？
本文是WAIC 2026一场由商汤科技承办的圆桌论坛实录，五位中国AI首席科学家围绕多模态AI的本质定位、核心瓶颈与未来图景展开深度交锋。核心结论是：多模态正从语言模型的“外挂”走向下一代智能的“原生基础”，但当前在数据、模型架构、训练范式（尤其是记忆机制与在线学习）上均存在根本性局限。文章提供了邱锡鹏、赵德丽、张祥雨、刘子纬、林达华五位学者观点鲜明的原始对话，适合关注AI前沿技术路线与产业落地的研究者、工程师与产品决策者。原文 ↗
核心观点
- ▍多模态不是大语言模型的附属品，而是下一代智能的原生基础；AI从数字空间走向物理空间的不可逆迁移，决定了多模态必须从“辅助工具”升级为“核心基础设施”。
- 01赵德丽提出通向智能的四条路径（大语言模型、机器人、数字生命模拟、神经信号交互）均为多模态，无一单一模态，认为基于多模态的模型是下一代智能的范式。
- 02刘子纬引用柏拉图洞穴比喻，认为语言是真实世界的低维投影，多模态数据是继语言（化石燃料）之后的下一代能源形态。
- 03张祥雨指出，当前模型缺少“自主学习”或“在线学习”能力，Codex订阅后提升有限，而实习生通过实际工作快速进步，模型缺乏自我进化能力。
- 04刘子纬拆解多模态瓶颈：数据层面，互联网缺少长程任务视频；架构层面，以语言模型为核心、多模态桥接方式进入，非原生多模态；学习范式层面，10年前视觉研究提出的问题仍未解决。
- 05张祥雨深入分析Memory机制：Transformer的上下文本质上是工作记忆，有效长度有限；而人类记忆分瞬时感知、短期工作、长期情境和语义记忆，机制根本不同，当前用工作记忆建模长程记忆是错误的。
- 06赵德丽指出，中国在工业、服务业、家电场景的多样性和需求远大于欧美，所有数据来自实际场景，在具身方向上有天然优势。
- 07邱锡鹏预测，下一代的范式变革可能是“AI for AI”，即先用Coding Model/Agentic Model走到极致，再让它去设计未来的多模态模型。
- 08赵德丽预测：被高估的是Agent在企业级场景的自主化能力；被低估的是AI对社会运作方式的改变，如智能体支付，背后是整个社会运作方式的重构。
反方 / 局限
- — 邱锡鹏认为多模态发展重点不是取代语言，而是如何把多模态信息与语言真正对齐，体现了语言中心论的延续视角。
- — 张祥雨暗示，当前基于静态数据、模仿学习的范式本身就有问题，语言模型之所以成功只是因为语言天生信息密度高，在这种范式下占优，而非语言本身更优越。
林达华邱锡鹏赵德丽张祥雨刘子纬商汤科技达摩院阶跃星辰南洋理工大学WAIC 2026Scaling LawNext Token Prediction世界模型TransformerMemory机制在线学习Agent具身智能DeepSeekGPT-5.6
14 分钟 · 4 卡片 · 12 资料
读原文 →