7.2
深览指数
科技微博·机器之心Pro··AI 生成
3步推理生成加速20+倍！CoLT教会多模态大模型用「潜思维链」思考
南洋理工、上海交大等机构联合提出 CoLT 方法，用仅 3 步连续向量（潜思维链）替代多模态大模型传统的数百字文本思维链（CoT）。在八个基准上平均准确率 79.1%，超越文本 CoT 3.4 个百分点，同时实现约 10 倍端到端推理加速、22 倍文本生成加速。核心创新是引入前向解码、后向解码与步间预测三重监督驯服无约束潜空间。适合关注高效推理技术、多模态模型优化方向的 AI 研究人员阅读。原文 ↗
核心观点
- ▍CoLT 证明：仅用 3 步潜思维向量替代传统文本 CoT，可在提升多模态推理精度的同时实现数量级加速，且推理阶段零额外开销。
- 01在 MMStar 上，传统 Text CoT 需平均生成 142.1 个推理 token，耗时 7.24 秒；CoLT 仅用 3 个潜向量，耗时 0.32 秒，文本生成加速 22.6 倍，端到端加速 10.1 倍。
- 02在八个多模态基准上，CoLT 平均准确率 79.1%，超越同骨干上的 Text CoT（75.7%）3.4 个百分点，在 ChartQA 和 TextVQA 上增益最为显著（分别为 +9.6% 和 +6.1%）。
- 03CoLT 的核心创新是三重步级监督机制：前向解码（预测下一步文本）、后向解码（由下一步预测当前步）、步间内部预测，三者组合后平均准确率达 72.6%。
- 04消融实验显示，外部解码器规模从 Qwen3-0.6B 扩大至 Qwen3-8B 仅带来 0.6% 准确率提升，0.6B 解码器已是精度-效率的最优折中；默认 K=3 的潜步数在跨 K 泛化测试中表现鲁棒（K=3 训练、K=6 测试下降仅 0.7%）。
- 05可解释性分析显示，前向解码可将每步潜向量还原为语义明确的推理片段（如扇区计数、数位分解），验证了潜思维链的结构化特征。
反方 / 局限
- — CoLT 需在训练阶段依赖文本 CoT 标注来提供外部监督，这不仅意味着训练成本略高，也意味着其效果上限受限于已有 CoT 数据的质量和覆盖范围。
- — 默认潜步数 K=3 是经验最优值，但对复杂度差异极大的推理问题固定步数并非最优，作者在展望中也承认自适应调节步数是未来方向。
- — 论文仅在 8B 规模模型上验证，未报告在更大骨干（如 72B/100B+）上的表现，潜向量容量是否随模型规模线性增长仍不明确。
9 分钟 · 4 卡片 · 9 资料
读原文 →