7.0
深览指数
科技微博·机器之心Pro··AI 生成
ECCV 2026 | 悉尼大学提出Linstereo, 打通立体匹配「最后一公里」
悉尼大学团队在ECCV 2026上提出LinStereo，针对当前立体匹配中视觉基座模型（如Depth Anything V3）已能提供全局语义特征，但后端迭代更新仍用局部卷积（ConvGRU）的断层问题，设计了位置感知线性注意力模块（PALA）。该模块在保持线性复杂度下实现全局注意力，辅以多尺度代价体积和单目深度初始化，显著提升了遮挡、弱纹理及水下等退化场景的匹配精度。在Middlebury遮挡区域将误差压低37%，并以更小参数量在零样本跨域泛化上展现优势。文章适合计算机视觉研究者、立体匹配从业者及对视觉基座模型应用感兴趣的技术读者。原文 ↗
核心观点
- ▍立体匹配的瓶颈不在于前端视觉基座模型，而在于后端迭代更新依赖局部卷积，无法有效利用全局上下文。LinStereo通过线性复杂度的全局注意力模块PALA解决此问题，在遮挡、弱纹理和水下场景实现显著性能提升。
- 01LinStereo使用位置感知线性注意力模块（PALA）替代ConvGRU，通过ELU+1核激活和矩阵乘法结合律，将复杂度降至O(N·C_h²)，单次迭代耗时3.50ms，与ConvGRU的3.63ms几乎持平。
- 02PALA引入非对称2D RoPE（仅加在注意力分子上），解决了线性注意力丢失位置信息的问题。消融实验表明，在水下TartanAir-UW数据集上，RMSE从2.18降至2.08，性能提升近5%。
- 03LinStereo提出多尺度层次化语义代价体积（HSCV），在1/4、1/8、1/16三个尺度上各建4层视差金字塔，使每轮迭代能同时利用浅层纹理和深层语义信息。去掉多尺度后，KITTI上EPE上涨0.06。
- 04LinStereo使用单目深度初始化（DPI），利用Depth Anything V3 backbone生成affine-invariant的深度图，再通过SIFT匹配左右图计算尺度和偏移，转为度量视差。在水下SQUID数据集上，SIFT失败率仅3.7%。
- 05在标准benchmark Middlebury的遮挡区域，LinStereo的EPE为1.33，比第二名FoundationStereo（1.58）低16%，比DEFOM-Stereo（2.11）低37%。这直接验证了全局注意力在遮挡场景的价值。
- 06LinStereo在冻结backbone、仅用Scene Flow合成数据训练下游模块的情况下，零样本泛化至水下benchmark全面领先，展示出跨域退化场景下的优势。
- 07LinStereo参数高效：127M总参数量中，超过100M来自冻结的Depth Anything V3 backbone，真正需要训练的仅约10M。仅2次迭代即可在480×640分辨率下达到12.5 FPS，SQUID AbsRel为0.05。
- 08团队发布了SeaStereo-Dataset，包含40,320对水下立体图像及稠密视差，涵盖7种Jerlov水体类型，旨在补全水下立体匹配的公开数据缺失。
反方 / 局限
- — PALA block堆叠至3个时（参数量从127M涨至147M），KITTI EPE反而从1.01涨至1.05。作者认为迭代本身已在做隐式深度堆叠，显式增加层数可能导致过拟合。
- — SIFT初始化方案有3.7%失败率，失败后回退至零初始化，EPE性能下降约0.08像素。虽然影响可控，但表明该初始化方法并非绝对可靠。
- — 文章未系统讨论PALA在更严苛的低算力平台（如嵌入式边缘设备）上的部署效率。当前仅提及正在通过知识蒸馏压缩编码器，但未给出具体延迟数据。
LinStereoPALAHSCVDPIDepth Anything V3ConvGRUECCV 2026悉尼大学澳大利亚机器人中心Yiran WangOliver TurnerViorela IlaMiddleburyTartanAir-UWSeaStereo-DatasetSIFTRoPE
8 分钟 · 3 卡片 · 8 资料
读原文 →