产品Bestblogs·Napalys Klicius··AI 生成
更好的工具反而让 Copilot 代码审查变差。以下是我们实际改进的方法。
GitHub 团队发现,为 Copilot 代码审查智能体换用更强大的共享 CLI 工具(grep、glob、view)后,审查性能反而下降,成本更高、有用评论更少。核心原因是工具指令未针对审查场景调优,导致智能体行为像通用代码浏览器而非专注的审查者。通过重写指令,模拟人类审查者从 diff 出发、先缩小搜索范围再精读文件的工作流,最终将平均审查成本降低约 20%,且质量未受影响。这个案例的关键启示在于:对于 LLM 智能体,围绕共享工具的工作流设计比工具本身更重要。适合对 AI 工程化、LLM 应用开发、代码审查工具优化感兴趣的读者。原文 ↗原文 ↗
核心观点
- ▍对于 LLM 智能体而言,围绕共享工具的工作流(即指令如何引导工具调用)比工具本身的选择更重要。
- 01团队最初将智能体从自有的代码探索工具迁移到共享的通用 CLI 工具(grep、glob、view),目的是减少重复开发,但初期基准测试显示成本更高、有用评论更少。
- 02通过分析内部基准测试中的工具调用轨迹,团队发现智能体在使用共享工具时,行为模式像通用代码浏览器,倾向于扩大搜索范围而非缩小证据范围。
- 03重写后的工具指令模拟了人类代码审查者的工作流:从 diff 出发,使用 grep/glob 缩小搜索范围,批量探索相关文件,仅在明确目标时使用 view 读取文件内容。
- 04修改后的指令通过“措辞上的微小改动”,将智能体的行为节奏从“浏览、读取、再搜索”转变为“询问、缩小、读取、决定”。
- 05在生产环境中,该调整带来了平均约 20% 的审查成本降低,且审查质量未出现可观测的下降。
反方 / 局限
- — 文章未提及该方案在非 GitHub Copilot 代码审查场景下的普适性,也未讨论指令重写是否可能引入新的、未被发现的审查盲区。
概念锚点
前置背景
平行视角
未来推演
延伸追问