7.7
深览指数
科技微博·机器之心Pro··AI 生成
VLM脑中真有一张3D地图？匹兹堡大学挖出了新证据
匹兹堡大学研究团队通过新方法，将视觉语言模型(VLM)处理空间信息时的内部表征分离出来，在模型中间层观察到了与真实3D场景布局对应的拓扑结构。研究提出了从物体级表征聚合到身份-空间分离、再到低维可视化的分析流程，并通过Dirichlet能量定量验证了这一结构的存在。这项已被NeurIPS 2026录用的工作，不仅是VLM空间感知能力的可解释性分析，还通过微调实验证明，强化这种内部结构能显著提升模型在空间推理任务上的表现。适合对AI可解释性、视觉语言模型前沿研究感兴趣的深度读者。原文 ↗
核心观点
- ▍视觉语言模型(VLM)的内部隐空间中，在中间层可以提取出与真实3D场景拓扑对应的空间结构，而不仅仅是依靠物体共现或语言先验来回答空间问题。
- ▍通过跨场景平均分离身份属性(颜色、形状)后，VLM中间层的激活向量能够更清晰地反映物体的3D位置和邻接关系，且这一结构可以通过低维投影观察和定量验证。
- 01研究提出了三步骤分析方法：首先从视觉标记中按物体掩码加权汇聚跨帧的物体级表征，然后通过跨场景平均估计并剔除身份属性成分，最后用PCA将剩余的空间信号投影到三维可视化。
- 02可视化对比显示，在圆环、网格、随机布局等场景中，VLM中间层的表征排列与真实物体布局的几何对应关系比较早层和较后层更清晰。
- 03研究使用Dirichlet能量进行定量检验：真实三维空间中相邻的物体，在隐空间中的表征差异更小，能量比率在中层最低，且剔除外观属性后趋势更明显。
- 04线性探针实验表明，沿与预测3D坐标相关的方向施加扰动，会定向改变坐标探针的读数，而对照方向无此效果，验证了分离出的方向确实包含空间信息。
- 05将Dirichlet能量加入LoRA微调目标后，Qwen2.5-VL-7B在VSI-Bench简单相对方向任务上准确率从47.9%提升至60.0%，迁移收益表明空间表征强化能提升实际推理能力。
- 06文章提供了数学定理(定理1)：在保证表征足够差异的条件下，最小化Dirichlet能量得到的最优表征经PCA后会呈现由场景邻域关系决定的低维结构(拉普拉斯特征映射)。
反方 / 局限
- — 分析的当前阶段仅使用了合成场景数据，有精确的对象掩码和真实空间坐标作为ground truth，在真实自然图像中这些条件不成立，方法的泛化性尚未验证。
- — 研究假设了身份成分和空间成分近似线性可分离，且空间成分跨场景零均值，这些假设在更复杂的场景下可能不成立，线性分解的局限性会影响分离效果。
7 分钟 · 4 卡片 · 8 资料
读原文 →