7.6
深览指数
科技人人都是产品经理·Ai学习的老章··AI 生成
首个记忆原生大模型开源，36B 本地部署实测：成功把规矩”刻”进脑子
记忆张量（MemOS）团队开源首个记忆原生架构模型 MemT-1.0，将团队规范写入约 40 MiB 的固定记忆状态而非对话上下文，新会话零明文历史即可调用。作者在单卡 A100 上实测 36B Nano 版：四条支付规范中三条部分落地、一条完全正确，锁名、脱敏、异常类、错误码均从记忆调出。SWE-bench pass^3 提升约 9 个百分点，但文本经验对照组效果持平，且强文本记忆系统总分仍领先。原文 ↗
核心观点
- ▍MemT-1.0 把记忆从外挂 RAG/长上下文搬进模型前向计算，用固定大小（O(1)）的状态快照替代重复粘贴的提示词，让团队私有规范成为可保存、分发、恢复的工程资产。
- 01单卡 A100 实测 36B Nano 版：写入四条支付规范并固化为 41,944,024 字节 safetensors 快照，新会话明文历史为 0，模型生成代码中四个团队专用组件名和 SEC_PAY_4001、0000 两个错误码全部出现，对照组一个也没有。
- 02AST 核验显示四条规范中三条部分落地、一条完全正确：锁名多了 lock: 前缀且 async 写成同步、脱敏后明文仍传给下游、响应包多出 reason 与 .to_dict() 字段。
- 03SWE-bench Verified 500 题在 Harness-Triggered 设置下 pass^3 从 54.00% 升至 62.80%，平均成功率从 66.07% 升至 69.73%；Multilingual 300 题 pass^3 从 45.33% 升至 55.33%。
- 04架构上冻结主干参数，并行挂载 Native Memory Block，含动态本地记忆与参数化超记忆块（擦除门、写入门、遗忘衰减门、读取门），基于 Gated DeltaNet-2 做 Token 级渐进更新，消融比整轮更新高 6 个百分点。
- 05效率数据：128K 交互历史下单会话持久状态约 40 MiB，比全上下文 KV Cache 缩小约 66 倍；Query TTFT 稳定在 104-112 毫秒；端到端延迟约 32K 才与全上下文持平，256K 时快约 3.99 倍。
- 06Nano 与 Flash 每层只有 1 个记忆块，未启用 Mixture-of-Storage 专家扩展；MoS 的 4 专家对比实验属于架构能力验证，而非已发布模型的能力。
反方 / 局限
- — 同样经验以文本形式塞进上下文，效果与原生记忆基本持平（Verified pass^3 为 61.80%，平均成功率 69.13%；Multilingual 的 Before Execution 设置下文本经验 pass^3 为 56.33%，还高于原生记忆的 53.67%），原生记忆的价值主要在于不占用任务上下文。
- — 强文本记忆系统整体仍然领先：11 个长程记忆基准平均分 MemOS 68.5、全上下文 66.3，而 Nano 47.0、Flash 50.6，在 LongMemEval-S、BEAM-1M 等需要细节证据检索的任务上差距明显。
- — 论文中 SWE-bench 成绩来自针对该任务做过专项后训练（知识蒸馏）的 Nano checkpoint，与直接下载的通用版是否一致作者未确认。
- — 记忆写入与状态更新本身消耗前向算力，短历史下端到端延迟反而比全上下文更慢；且程序性经验仍依赖离线构建，模型自主提炼并固化的能力尚未实现。
MemT-1.0记忆张量（MemOS）团队MemT-1.0-NanoMemT-1.0-Flash原生记忆架构参数化超记忆块Mixture-of-StorageGated DeltaNet-2SWE-bench VerifiedSWE-bench MultilingualHugging FaceQwen3.6-35B-A3BDeepSeek-V4-FlashA100 80GDjango 两位数年份解析 Bug
23 分钟 · 5 卡片 · 11 资料
读原文 →