7.8
深览指数
科技微博·机器之心Pro··AI 生成
Loop Transformer走向视觉语言模型，百度联合清华人大高瓴开源LoopVL
百度、人民大学等机构联合开源了基于循环架构的视觉语言模型LoopVL，仅用0.14T训练token（约为同行1/260）即在多项评测中达到甚至超过Qwen3.5-2B等主流模型。论文的核心发现是：模型在第二次循环计算时，视觉注意力会从广泛感知转向聚焦关键区域，即所谓「Visual Aha Moment」。这表明循环计算的扩展路径与传统增加参数/深度的方式不同，参数复用也能带来能力的非线性增长。适合关注AI架构创新（非单纯堆算力）的研究者与工程人员阅读。原文 ↗
核心观点
- ▍LoopVL通过循环复用共享参数（1B主干，128次层调用）提供了有别于传统增加深度/宽度的大模型扩展路径，在极低训练数据量下（0.14T vs 36T）达到同级别模型性能。
- ▍视觉状态的持续更新是循环计算起效的关键：模型在第二轮循环中会重新分配视觉注意力，从第一轮的「广泛感知」转向「聚焦关键区域」，即Visual Aha Moment。
- 01在受控实验中，LoopVL（1B主干）在RealWorldQA达70.98，高于同等token预算的约4B深度基线（66.54）和宽度基线（66.01）；MathVision达38.49，高于二者的35.92和33.55。
- 02团队构建了「只读视觉状态」变体进行对比：第二轮将视觉状态冻结，仅更新语言状态。正常LoopVL在所有四项评测中均最高，证明视觉更新不可替代。
- 03注意力追踪显示，从第63次到第64次层调用（两轮Model-Loop交界处），平均Gini系数从0.405跃升至0.858，注意力分布急剧集中。
- 04通过比较两轮循环同一共享H层的注意力排名，发现第一轮被忽视的某些视觉Token在第二轮进入前25%，且此现象在文字识别、方向判断等复杂任务中均存在。
- 05参数复用不等于推理快：LoopVL与1B基线均有32套独立Transformer层，但分别执行128次和32次层调用，计算量增大4倍。
- 06训练与推理的循环调度需一致：固定H2L3权重，将推理调度改为H3L3后MMStar从63.47降至58.20；改为H4L3后骤降至24.00。
反方 / 局限
- — 论文承认循环次数并非越多越好，且训练/推理调度的一致性至关重要，否则性能会显著下降。
- — 参数复用带来的是计算深度而非参数规模的扩展，因此其性能提升伴随更高的推理开销，延迟可能不满足实时场景。
LoopVLVisual Aha MomentLoop TransformerHRM-TextModule-LoopModel-Loop百度中国人民大学高瓴人工智能学院清华大学上海交通大学Qwen3.5InternVL3.5马彦彪李和瀚钱喆龚子洋许重行
9 分钟 · 2 卡片 · 2 资料
读原文 →