7.6
深览指数
科技虎嗅·林月半子的AI笔记©··AI 生成
给AI写了一堆规则还在踩坑，终于有人从模型底层动刀了
作者实测 MemT 1.0——一个把记忆写进模型参数而非上下文的开源模型。核心数据：在 SWE-bench Verified 上，pass^3（三次全对）显著提升而 pass@3 几乎不变，说明它让能解的题更稳而非解出原本解不出的题；128K 历史下首字延迟稳定在 100ms 出头，会话状态固定约 40MB，比全上下文省约 66 倍，但 32K 以下反而更慢。作者判断原生记忆与外挂记忆（CLAUDE.md、RAG、MemOS）是互补而非替代。适合长期做 Agent 工程、关心记忆机制落地成本的人读。原文 ↗
核心观点
- ▍把经验写进模型原生记忆，比写成规则塞进上下文更能让 Agent 稳定执行；外挂记忆解决的是「把信息找出来」，原生记忆解决的是「把经验变成习惯」。
- ▍原生记忆与外挂记忆不是替代关系：固定容量装不下所有细节，超长历史精确检索仍需 MemOS 类系统，二者像人的「经验」与「笔记本」。
- 01在 SWE-bench Verified 上，MemT 1.0 的 pass^3（同任务三次全对）明显提升，但 pass@3 未明显变化，说明经验提升的是稳定性而非解题上限。
- 02团队从 4 万多条成功编程轨迹中提炼出 1040 条可复用经验，Agent 在关键节点检索后直接写入模型原生记忆，而非塞进对话上下文。
- 03Django HTTP 日期解析 bug 案例：带经验的 Agent 先写复现测试、改完检查边界条件再补验证，而该行为并未出现在其对话规则中。
- 04模型分 Nano（36B 总参、激活 3B，底子 Qwen3.6-35B-A3B）与 Flash（288B，底子二次后训练的 DeepSeek-V4-Flash），并非从零训练，而是在开源模型上加装记忆块。
- 05把逐 token 记忆更新换成整轮汇总，记忆评测平均分掉 6 分，是报告里所有改动中跌幅最大的一项，说明逐字记录对记忆质量关键。
- 06128K 历史下端到端速度约为全上下文的 1.86 倍，256K 拉大到近 4 倍；首字延迟稳定在 100ms 出头，全上下文 256K 时涨到 400 多毫秒。
- 07每会话持久状态固定约 40MB，128K 时比全上下文少约 66 倍，且不随 256K、1M 增长；Mixture-of-Storage 扩容实验中 4 个记忆专家在各训练阶段均优于 2 个。
反方 / 局限
- — 短历史场景下算上写记忆开销，端到端速度比全上下文慢，32K 左右才追平，所以它的主场是长期陪伴型应用而非短对话。
- — 记忆容量固定，装不下所有细节，超长历史中要精确找回某句话，目前仍是 MemOS 这类外挂记忆系统更靠谱。
- — 本文对 pass^3 提升幅度、1040 条经验的具体质量与筛选标准、记忆块在非编程任务上的泛化表现均未展开，结论主要建立在单一基准与少量案例上。
MemT 1.0MemOS记忆原生大模型Mixture-of-StorageSWE-bench VerifiedCLAUDE.mdOpenClawDjangoQwen3.6-35B-A3BDeepSeek-V4-FlashHugging Face林月半子
15 分钟 · 6 卡片 · 18 资料
读原文 →