7.0
深览指数
科技量子位·听雨··AI 生成
KV Cache被压成常数！OCR开源新王：页数没上限，缓存砍96%
百度发布并开源文心Unlimited OCR 2，通过稀疏参考滑动窗口注意力机制SR-SWA（两层筛选：Page Gate选页面、Token Sieve选Token）加无限解码分块处理，把百页级单序列峰值KV缓存从47GB压到1.77GB（降约96%），16路并发吞吐提升3.65倍，单步解码速度达全注意力7倍。实测884页《指环王》42分钟解析完，跨页合并466处，第750页仍一字不差。技术报告提出OCR 1.0/2.0/3.0演进框架。适合关注长文档解析、大模型推理工程优化的读者。原文 ↗
核心观点
- ▍通过SR-SWA减少每步计算、无限解码控制缓存占用，OCR可以做到页面数无上限的连续解析，且单步解码开销不随文档变长而增长。
- ▍团队将文档解析划分为OCR 1.0（流水线式逐页）、2.0（视觉语言模型端到端、数十页）、3.0（整份文档连续解析、不分页）三个阶段。
- 01百页级MarathonDocBench单序列测试中，峰值KV缓存占用从标准解码的47GB降至1.77GB，减少约96%（1.77GB仅指KV缓存，不含模型权重）。
- 0216路并发测试中端到端吞吐量从360提升至1315 Token/秒，约为标准解码的3.65倍。
- 03SR-SWA单步解码速度分别达到Full Attention的7.0倍、上一代R-SWA的5.6倍，且随文档变长单步耗时几乎呈水平线。
- 04SR-SWA分两层筛选：Page Gate决定该看哪几页，Token Sieve通过TopK从页面中挑出固定数量的相关视觉信息块。
- 05无限解码机制把文档划成重叠一页的页面块依次解析，复用重叠页的视觉KV缓存，其余用不上的视觉缓存及时释放。
- 06实测884页英文版《指环王》42分56秒解析完成，平均每页约2.9秒，标记466处跨页合并，抽查第600、750页识别与原文一致。
- 07MPDocBench综合得分84.59，新建的MarathonDocBench（100份文档、每份103至300页）综合得分77.06，均为报告所列参评模型最高值。
- 08上一代Unlimited OCR累计下载量超1000万，GitHub约2.86万Star；第二代已在Hugging Face和GitHub开源。
反方 / 局限
- — 1.77GB仅为KV缓存占用，模型权重等其他显存开销另计，实际显存需求远高于该数字。
- — 对比上一代，单页综合得分基本持平，第二代真正拉开差距的只是文档变长后的连续处理能力和开销下降。
- — 团队自建MarathonDocBench并报告其为参评模型最高分，评测基准与结论均出自同一技术报告，缺乏第三方独立验证。
文心Unlimited OCR 2百度量子位稀疏参考滑动窗口注意力机制（SR-SWA）无限解码机制（Unlimited-Horizon Decoding）Page GateToken SieveDeepEncoderMarathonDocBenchMPDocBenchKV CacheHugging FaceGitHubSGlangUnlimited Blade WorksSnarcy
16 分钟 · 5 卡片 · 10 资料
读原文 →