7.0
深览指数
科技Bestblogs·AI Engineer··AI 生成
让 Agent 在沙箱中运行 1000 项任务：LLM 执行代码时会出现什么问题？｜AWS Kevin Orellana
AWS工程师Kevin Orellana分享了团队如何通过MCP接口，让编程Agent在沙箱中自动生成并执行约1000项贴近真实客户场景的任务，以暴露LLM代码执行中的故障。文章核心发现是：故障可明确分为接口层（如图像编码错误）和沙箱层（如文件持久化失败）两类，且沙箱的资源限制（CPU、内存、网络）会显著改变Agent的实际能力。作者提供了一个从一线实践中总结的测试方法论，强调必须在远端真实环境中进行大规模模糊测试，而非仅依赖本地单元测试。这篇演讲复盘是给开发Agent系统的工程师的实操警示，但缺乏各类故障的量化频率数据。原文 ↗
核心观点
- ▍LLM代码执行Agent的故障应被明确区分为接口层（MCP/API）和沙箱层（操作系统/硬件）两大类，这种分类法有助于系统性地定位和解决问题。
- 01团队通过MCP接口开放环境，在十个领域（如数据处理、自动化脚本等）让Agent自动生成并运行了约1000项任务，并将测试结果存入SQLite数据库以追踪故障模式。
- 02接口层故障实例：MCP协议在编码图像时路径错误，导致Agent能正确发送请求，但上下文中的图像数据因编码格式错误无法被模型理解。
- 03沙箱层故障实例：Agent将生成的代码写入沙箱目录后，因文件系统权限或路径限制，外部流程无法取回该文件。
- 04远端托管沙箱与本地开发环境存在关键差异：内存限制、CPU配额、网络访问控制、文件系统持久化策略等底层约束，均可能导致本地测试通过的任务在远端失败。
- 05作者比较了代码执行Agent与云浏览器Agent的资源压力差异，指出代码执行更侧重计算能力，而浏览器Agent则更消耗内存。
- 06作者建议除本地测试外，还应在覆盖不同领域的真实远端环境中对Agent任务进行广泛的模糊测试。
反方 / 局限
- — 文章未提供各类故障的具体量化数据（如发生频率、严重性分布、与任务类型/代码复杂度的相关性），使其方法的可复制性和优先级判断缺乏量化支撑。
- — 文章中提到的测试案例多集中于Python脚本执行和简单工具调用，对于更复杂的Agent场景（如涉及复杂多步推理、高频状态切换的系统）的适用性未做说明。
3 分钟 · 3 卡片 · 7 资料
读原文 →