科技人人都是产品经理·赛博禅心··AI 生成
如何让【模型本身】具有记忆：存入参数
记忆张量团队的 MemT 1.0 技术报告提出了一种区别于主流外挂文本的新范式：在模型 Transformer 层中增加原生记忆块，将记忆直接写入参数。相比外挂文本，该方法成本固定、能组合生成长出新经验、越用越便宜，在 SWE-bench 上效果提升约 7 个百分点，但准确度仍逊于外挂文本。适合关注 AI 模型架构演进、探索记忆与长期学习技术路线的读者。原文 ↗原文 ↗
核心观点
- ▍MemT 1.0 提出将模型记忆直接写入参数，而非依赖外挂文本，为模型长期记忆提供了新范式。
- ▍内化记忆能组合经验产生新认知，并随使用降低二次成本，但其准确性暂时不如外挂原文。
- 01MemT 在 36B (Qwen) 和 288B (DeepSeek-V4-Flash) 模型中测试，记忆状态大小分别为 10M 和 336M。
- 02记忆写入时，模型逐 token 决定存储位置、擦除量和新写入量，并通过统一淡化的机制避免数值溢出。
- 03在 SWE-bench Verified 上，将 1,040 条经验写进记忆后，三次都做对的比率从 54.0% 提升至 61.6%。
- 04在 11 项记忆测试中，MemT 均做到了最优，但准确率 50.6 分低于外挂文本的 68.6 分。
- 05Temp-LoRA 将 128K token 历史准备到回答需要 700.82 秒，而 MemT 记忆大小固定为 40 MiB。
- 06后训练时，不训练只将事实放入上下文，正确率从 27% 涨到 91%；训练 8 次都未做对的题，正确率仅 1.6-4.0%。
反方 / 局限
- — 准确性仍逊于外挂文本（50.6 vs 68.6），后者能直接翻原文实现近乎 100% 还原。
- — 对于模型从未见过或做对的难题，内化训练（RSI）带来的提升有限（1.6-4.0%），远不如直接提供相关事实。
11 分钟 · 5 卡片 · 10 资料
读原文 →前置背景
技术原理
平行视角
未来推演
延伸追问