7.9
深览指数
科技Bestblogs·青稞AI··AI 生成
把记忆塞进 KV Cache，Agent 反而变笨了？KV 驻留内存，到底靠什么在干活！
基于 Qwen2.5-7B-Instruct 做 12 次单变量消融实验，发现 KV 驻留内存的有效成分是每轮对目标的鲜活重编码，而非驻留本身。账本类内容 stale 驻留 KV 会在相位切换处触发任务框塌缩，且跨 GPU 型号呈临界性。检索注入整链涌现均失败，仅行级窄窗（hit±1）成功，开销仅 0.315×。最终给出「活跃对象 KV 鲜活驻留 + 账本外部存储窄窗注入」的分裂架构，结论为筛查级方向性证据。原文 ↗
核心观点
- ▍KV 驻留内存的有效成分是每轮对目标/指令的鲜活重编码（fresh encoding），而非驻留本身或重锚定动作；固定 stale 驻留只买到位置可达性，自由回忆从 20/20 掉到 8/20。
- ▍同一 44 行账本内容，prompt 侧每轮重发无恙，KV stale 驻留却在相位切换处触发任务框塌缩（鹦鹉学舌、源混淆、编造），且塌缩跨 GPU 型号呈临界性（4080S 塌、4090 不塌、5090 又塌），bf16 数值路径细节决定命运。
- 01E6 裁决：目标每轮鲜活编码进 KV 辅区（F 臂）自由回忆 20/20，stale 驻留（G 臂）仅 8/20，sham 等长重锚定非目标内容（S 臂）仅 1/20。
- 02E7 同一 44 行账本、同一管理策略：prompt 侧执行（P）五个行为门全满分、strict median 41；KV 侧执行（K）五个行为门全挂、strict median 26，塌缩集中在第 31 轮相位切换。
- 03E9-D 去除式诊断：切掉 stake chain 的 KV 驻留 → 塌缩消失（strict 回到 41/41）；不页入 read-back → 塌缩依旧；stake 不进 KV 仅提问轮 flash 进 prompt → 不塌但进度题能力归零。
- 04E8 Call-level KV gating 进度题仅 6/20（对照 17/20、prompt 20/20）；E9-D 提问轮 prompt flash 不塌但 j4c 0/4；E11 行级窄窗（hit±1 瞬态注入 user message）深历史紧急查找 5/5、源引用 5/5、编造从 10/10 降为 0，开销约 143 tokens/run（0.315× baseline）。
- 05E10 六类决策事件主分 Kf 15/20 与 P 15/20 打平，但剖面互补：深历史/源引用 prompt 胜（5/5 vs 0/5 并编造），冲突优先级/近场补救 KV 胜（5/5 vs 0/5）；E11 加上行级检索后 KV recipe 六类全 5/5、零编造。
反方 / 局限
- — 实验为单模型（Qwen2.5-7B-Instruct）、合成脚本、greedy 单轨迹，结论仅为筛查级方向性证据，非总体估计，跨模型/真实任务的泛化性未验证。
- — 塌缩跨 GPU 型号呈临界性，bf16 数值路径细节决定落哪侧，意味着结论对硬件/数值环境敏感，工程复现可能不稳定。
5 分钟 · 6 卡片 · 13 资料
读原文 →