7.5
深览指数
科技Bestblogs·InfoQ 中文··AI 生成
让 AI 组队干活，最强模型也只完成约一半任务：AgentWorld 如何评测 Agent 协作能力？
研究团队推出面向多智能体长时程协作的评测基准 AgentWorld。在模拟 MMORPG 沙盒环境中，即使当前最强的 Gemini 3 Flash 模型，其协作成功率也仅约 52%。文章提出了因果协作有效性（CCE）指标，用来量化跨角色行动的真实贡献，并揭示了智能体协作中常见的重复劳动、信息误传等失败模式。适合对 AI Agent 前沿研究、多智能体系统评估感兴趣的读者，能获得一篇严谨的实验报告和评测框架。原文 ↗
核心观点
- ▍AgentWorld 针对多智能体协作痛点，构建了长时程、角色不对称与黑盒交互的 MMORPG 沙盒评测环境，专门检验 Agent 在彼此依赖条件下的分工与协调能力。
- ▍主流大模型的多智能体协作成功率普遍偏低，且通信频率与协作质量不成正比，说明协作的关键在于信息的有效性而非数量。
- 01AgentWorld 评测环境涵盖 3 至 20 个智能体，涉及连续资源交接与行动依赖任务，并利用 13 个高层 API 屏蔽底层导航干扰。
- 02在基准测试中，表现最好的 Gemini 3 Flash 在主任务集上的完整成功率仅为 52.0%，部分模型成功率仅有 20.0%。
- 03发送大量消息（如 GPT-5 Mini 发送 44.1 条）并未带来高成功率（36.0%），证明消息数量无法替代协作质量。
- 04研究提出了因果协作有效性（CCE）指标，通过从最终成功的任务目标反向回溯依赖链，计算被判定为推动结果的动作占总执行动作的比例。
- 05CCE 指标使研究者能够区分高冗余试错与高效配合，并深入分析协作失败的具体症结，如重复劳动、信息误传和提前终止等。
反方 / 局限
- — 文章虽通过沙盒任务严格控制变量，但评测维度（MMORPG 式资源协作）与真实世界的开放、长尾场景仍有距离，结论的泛化性存疑。
- — CCE 指标的有效性依赖于对因果依赖图的准确构建，若任务依赖关系复杂或存在多路径，CCE 的归因准确度可能受到影响，文章未深入探讨此问题。
3 分钟 · 4 卡片 · 11 资料
读原文 →