科技Bestblogs·Venkata Sangaraju··AI 生成
在 2000+ 次运行中测试 AI 智能体上下文压缩得到的 6 条经验
作者用 MCP 压缩代理在本地开放模型上跑 2000+ 次智能体任务，发现 70–94% 的工具输出压缩比几乎不转化为会话 token 节省——模型会把被删信息重新检索回来，真实服务器上反而增加 17% 开销。六条经验里最有价值的是：定向检索能抹平开销，暴露检索工具会让 4B 模型成功率从 50% 掉到 41.7%，截断在约 17% 任务中静默删掉正确答案。团队在 Hugging Face 开源了 1832 回合的会话级基准，适合做 agent 基础设施与 eval 的工程师精读。原文 ↗原文 ↗
核心观点
- ▍上下文压缩的输出压缩比具有误导性：压缩器只在模型永远不需要查看的输出上省 token，而这一点无法事先知道，因此真实节省必须按会话级 token 与静默丢失来度量。
- ▍检索路径与压缩本身同等重要——定向检索（搜索、行范围、JSON 路径）是「成本更高」与「收支平衡或更好」之间的分界线。
- 01在真实 MCP 服务器测试中，压缩相比原始输出反而增加了 17% 的 token 开销，因为模型会反复把被省略的数据重新检索回来。
- 02加入基于 expand(handle, search=query) 的定向检索后，真实服务器上的开销被抹平，在具有重复输出的合成任务上节省约 17%。
- 03仅仅列出检索工具，就让 4B 模型在未压缩任务上的成功率从 50% 降到 41.7%；惰性工具列表（仅在发生压缩后才暴露）避免了这一干扰。
- 04朴素截断到 13.6k 字符节省了 25% token，但在 193 个任务里有 33 个（约 17%）静默移除了正确答案。
- 05代理默认子进程环境丢弃了 MEMORY_FILE_PATH、GITHUB_TOKEN 等自定义变量，导致一个记忆服务器得分为 0/16，而原始为 16/16。
- 06在作者的任务中，大型工具输出只占提示词 token 的约 40%，其余来自指令、工具模式和对话，因此即使完美压缩，现实会话节省也只能落在 0–25%。
- 07团队在 Hugging Face 上发布了一个开放基准（1832 个回合），用于会话级评估压缩器的真实效果。
反方 / 局限
- — 报告的全部结论来自作者自建的压缩代理与特定任务集（本地开放权重模型、1832 回合基准），并未覆盖闭源大模型或其他 MCP 服务器的行为，外推需谨慎。
- — 约 17% 的节省与 17% 的静默丢失在数字上接近，意味着在作者自己的测试里，压缩的收益与风险处于同一量级，文章并未给出明确的取舍阈值。
概念锚点
前置背景
论证骨架
平行视角
争议局限
延伸追问