7.6
深览指数
科技Bestblogs·Anthropic··AI 生成
大语言模型可验证推理的进展
Anthropic 开源 FlashProve，用 zkSNARK 证明验证模型响应确由已承诺权重生成，验证者无需获取权重。在 400B 参数的 Llama 4 Maverick 上，单张 H100 每秒可生成超 100 tokens 的证明，每 1024-token 请求证明约 19MB，但 GPU 耗时是 vLLM 正常推理的 70-95 倍。方案覆盖节奏监管、篡改检测、文本来源验证与模型审批四类信任场景，纯软件路径与 TEE 硬件方案互补。原文 ↗
核心观点
- ▍可验证推理的核心是让不了解权重的用户也能确认 AI 响应来自所请求的模型，FlashProve 用 zkSNARK 在 CPU 上数秒内验证一张约 19MB 的证明文件即可做到。
- 01在 400B 参数的 Llama 4 Maverick 模型上，单张 H100 GPU 每秒可生成超过 100 tokens 的证明，证明生成耗时约为 vLLM 直接运行该模型的 70-95 倍。
- 02每次模型承诺的离线阶段耗时 39 分钟，在需要重新承诺前约可处理 1600 万个请求，这决定了权重承诺的刷新频率。
- 03FlashProve 的适用范围覆盖四项信任挑战：监管机构验证硬件用于推理而非训练、检测服务器是否被入侵返回恶意响应、核实模型用于安全扫描的说法、确保只向用户提供已批准模型。
- 04与依赖硬件制造商提供防篡改硬件的可信执行环境不同，FlashProve 是纯软件加密方案，依赖计算困难性假设，即使操作系统或硬件被入侵仍保持安全，并提供零知识保证使验证者无法获知权重。
反方 / 局限
- — 70-95 倍的 GPU 耗时意味着可验证推理在成本上仍远高于普通推理，文章将其定位为「有望用于真实场景部署」，但未覆盖大规模生产下的单位经济可行性。
- — 每 1024-token 请求约 19MB 的证明体积，在高并发场景下会对存储与带宽造成显著压力，文章未讨论这一工程代价。
- — 方案依赖「已承诺权重」这一前提，如果模型提供方在承诺后重新训练或替换权重，承诺机制本身需要信任提供方按时重新承诺，文章未展开这一信任边界。
4 分钟 · 6 卡片 · 12 资料
读原文 →