7.4
深览指数
科技量子位··AI 生成
KV Cache砍掉99%，单卡吞吐飙6倍，港科CMU联手岩山科技开源新模型
岩山科技旗下岩芯矩阵联合港科大、CMU发布开源模型EdgeRock-4B，用名为「记忆岩锚」（RMA）的机制把每条序列的KV Cache固定在约72-97 MiB，不随上下文增长。256K上下文下KV Cache较源模型Qwen3.5-4B减少99.1%，单张80GB显卡可跑512路长推理，输出吞吐12124 tokens/s（6.42倍），AIME 2024-2026一次通过率82.9%，基本保住源模型能力。适合关注推理优化、长上下文与端侧部署的技术读者。原文 ↗
核心观点
- ▍EdgeRock-4B通过「记忆岩锚」（RMA）机制，把每条序列的注意力KV固定在72 MiB，实现推理再长、内存不涨，且推理能力基本保住。
- ▍业界现有两类方案各有短板：MLA/量化类只降低单token成本但缓存仍随推理增长；有界状态模型内存固定却留不住远处细节，RMA试图同时解决两者。
- 01256K上下文下KV Cache固定在72 MiB，相比源模型Qwen3.5-4B减少99.1%；批量运行时每序列全部历史状态固定为97.76 MiB，不随长度变化。
- 0232K输入加32K输出设定下，EdgeRock-4B单卡Hopper 80GB开512路并发，输出吞吐12124 tokens/s；源模型Qwen3.5-4B最快配置批大小64仅1889 tokens/s。
- 03若让Qwen3.5-4B同样跑完512条序列，仅生成结束时的KV Cache就要约1 TiB，约等于13张80GB显卡显存；EdgeRock峰值61.26 GiB（含模型权重）一张卡装下。
- 04长输出下速度稳定：128K输入后生成128K token，EdgeRock速度稳定在233.7 tokens/s，而Qwen3.5-4B从约169降到151.3。
- 05成本上，4K输入时EdgeRock只需Qwen3.5-4B 24.9%的GPU时间，32K输入时只需15.6%；四种输入长度平均吞吐是Qwen3.5-4B的4.94倍、LFM2.5-2.6B的7.18倍。
- 06AIME 2024-2026平均一次通过率82.9%，对照组最强的有界状态模型RWKV-7 G1j 13.3B仅18.8%，AHN-GDN Qwen2.5 14B为11.4%。
- 07消融实验：在256段16K至130K token长上下文上，开启RMA答对1024个问题中的964个（94.1%），关闭8个RMA模块后仅答对4个（0.4%）。
- 08架构上基于Qwen3.5-4B改造，保留24个Gated DeltaNet层，把8个全注意力层换成1024窗口滑动窗口注意力，外加独立RMA模块，无需从头预训练。
反方 / 局限
- — 恒定内存本身并非新鲜事，RNN、Mamba早有实现；文章的核心差异在于「省内存的同时保住推理能力」，但长期记忆与锚点取舍策略在极端长程任务上的表现仍有待验证。
- — 文章称上下文从4K涨到256K时KV Cache固定72 MiB，但批量运行段落又给出固定97.76 MiB，两个数字口径未完全说明，读者需注意区别。
EdgeRock-4B记忆岩锚 RMAKV Cache岩山科技岩芯矩阵香港科技大学卡内基梅隆大学Qwen3.5-4BGated DeltaNet滑动窗口注意力MambaRWKVMLATurboQuantAIME 2024-2026开源
12 分钟 · 6 卡片 · 10 资料
读原文 →