7.6
深览指数
科技人人都是产品经理·42章经··AI 生成

少有的同时做过 Agent、多模态和具身的人

一位工程师从 MiroMind 的语言 Agent,转到混元做多模态 RL infra,再跳去具身公司训模型。他判断视频生成半年内最大的机会在交互 Harness 和平台化,而非模型本身;具身方面,Astra 的价值在于用小模型成功率 50% 时接管、以 Error Recovery 数据把成功率拉到 80%,从而形成数据管线与 scaling 逻辑。适合关注 AI 落地路径与职业选择的读者。原文 ↗

核心观点
  • ▍视频生成后续最大机会不在模型本身,而在于降低使用门槛的交互 Harness 与平台化,让用户既是生成者又是消费者。
  • ▍具身领域初创公司的合理路径不是自研通用大模型,而是做好硬件与操控小模型,上面接强语言模型,并利用 Astra 接管失败案例形成 Error Recovery 数据管线。
  1. 01作者在混元做 RL infra 时发现,国内与海外在工程实践和 infra 上的代差不大,最大瓶颈是卡不够,RL 比预训练更费卡,卡少导致实验少、经验积累慢。
  2. 02视频生成领域尝试了半年,没有跑出像语言模型 R1 那样高效的 RL scaling law,预训练仍是能力提升的关键,而这更吃资本、大团队和公司,巨头效应明显。
  3. 03Seedance 视频生成质量好,与他们的数据质量和产品回流有很强关系;数据无法开源,只能靠花钱采买或自有产品积累。
  4. 04Astra 模型让具身行业震动,因为它能理解画面并直接输出有意义的动作序列来操控机器人,而不是像语言模型那样输出一串需要解析的数字。
  5. 05真机数据对具身厂商至关重要,因为仿真环境容易偏离实际需求,例如灵巧手公司要求五根手指贴合瓶子抓起,而仿真可能只用中指和食指捏起,不符合落地要求。
反方 / 局限
  • — 作者对真正的实时互动视频生成持悲观态度,认为模型生成能力只有 60 分,尚未到能力溢出阶段,保证质量比追求速度更重要,而提升质量需要做大模型,反而更慢。
  • — 作者承认世界模型方向近期遇冷,有人用白模加更小 Diffusion 模型做渲染,看上去比用巨大模型仿真整个世界更有希望;李飞飞卖出公司也让外界对该路线产生疑虑。
  • — 具身公司估值高、存在泡沫,且 Astra 出来后对「大脑」故事有冲击,作者加入具身的时机选择带有个人偏好色彩,并非纯粹技术判断。
14 分钟 · 5 卡片 · 6 资料
读原文 →

概念锚点

论证骨架

平行视角

未来推演

延伸追问