7.9
深览指数
科技Bestblogs·小林coding··AI 生成
面试官：“Agent 接了上百个工具，怎么选？”
面对 Agent 接入海量工具的场景，直接全部塞进 Prompt 的做法会引发 Token 占用、混淆、权限和延迟四重问题。文章提出分层 Tool Routing 方案：先通过注册表、权限过滤、业务域粗分与混合检索召回，最后只把候选工具的 Schema 动态绑定给 LLM 精选。核心观点是先鉴权再召回，工具描述与 Schema 质量决定路由上限。适合正在搭建或优化 Agent 工具编排系统的开发者与架构师阅读。原文 ↗
核心观点
- ▍当工具数量上百时，必须通过分层 Tool Routing 方案（注册表 → 权限过滤 → 域粗分 → 混合召回 → LLM 精选），替代把所有 Schema 塞进 Prompt 的做法。
- ▍Tool Routing（路由工具候选集）与 Multi-Agent Routing（路由执行者）是不同层次，不应混用；无原则拆分 Agent 只会把工具目录变为 Agent 目录，增加调试成本。
- 01把上百个工具 Schema 塞进 Prompt 会引发四类问题：Token 占满上下文、相似工具描述导致模型选错、暴露无权工具增加误调用与提示词注入风险、更长输入增加传输与预处理延迟。
- 02分层路由第一步是确定性过滤：按产品、租户、角色、环境、工具健康状态做硬过滤，排除无权或不可用的工具后再进入检索范围。
- 03检索器只能在“当前请求有权看到的工具集合”内搜索，禁止先全库召回再靠 Prompt 约束“不能用”。执行时仍需服务端重新鉴权，因为权限可能取决于具体参数和资源归属。
- 04候选域内用 BM25、Embedding 或混合检索召回 Top-K，然后才将少量候选工具的完整 Schema 动态绑定给 LLM 做精选和参数生成。
- 05评测需分三层：候选召回看 Recall@K 与候选集 Token；模型精选看选择准确率与参数合法率；业务结果看任务成功率、延迟、成本、越权暴露率。
反方 / 局限
- — 文章提到工具描述与 Schema 质量决定路由上限，但未详述如何系统性地评估和优化高频混淆工具的描述；当两个工具职责重叠时，作者建议先合并而非继续优化 Prompt。
5 分钟 · 4 卡片 · 8 资料
读原文 →