7.4
深览指数
科技Bestblogs·Hacker News··AI 生成

多智能体自我监督(MASS)

伯克利与Sakana AI提出MASS框架,让单个大模型同时扮演执行者、工作流优化器和评估者,在无需人工标注的不可验证科研任务中实现递归自我改进。该框架通过内循环进化多智能体工作流、外循环将集体执行轨迹蒸馏回模型权重,使模型即使仅在执行数据上微调,也能泛化提升优化与评估能力。适合关注AI Agent、自我改进、模型训练的从业者与研究者。原文 ↗

核心观点
  • ▍MASS通过让单一LLM在同构递归自我改进(RSI)框架中同时担任执行者、工作流优化器和评估者,在不可验证的研究任务上实现无需人工干预的自我改进。
  • ▍该框架的核心创新是将多智能体集体执行轨迹蒸馏回共享模型,将隐于工作流提示词中的组织规划能力内化为模型的固有参数。
  1. 01MASS内循环中,优化器根据评估者反馈迭代进化由角色、指令、契约和执行跳数组成的多智能体工作流。
  2. 02MASS外循环中,多个随机种子下运行的优胜工作流经评估者排序后,通过LoRA微调(剥离工作流指令)更新基座模型。
  3. 03以Qwen3.6-27B为起点经过两次迭代,模型在保留任务上的胜率提升至69.9%。
  4. 04尽管微调仅使用任务解决对话,但进化后的模型在工作流发现方面变得更快、更有效,且与外部前沿评估者的一致性高达93%。
  5. 05互信息分析表明,迭代工作流搜索降低了通用角色(如程序员、研究员)的任务特异性,将关键约束转移到输出契约和执行跳数中。
  6. 06从编排者提示词中剥离工作流计划后,模型被迫从内部自主识别任务需求并协调子智能体。
反方 / 局限
  • — MASS的同构设置(所有角色由同一模型承担)可能引入自我确认偏见:优化器倾向于维持评估者认可的方案,而非客观最优解。
  • — 当前验证仅在保留任务和科学基准上衡量提升,尚不确定该方法在更广泛、更真实的“无标准答案”复杂问题上的泛化边界与天花板。
3 分钟 · 3 卡片 · 7 资料
读原文 →

前置背景

未来推演

延伸追问