科技人人都是产品经理·机器最前线··AI 生成
机器人“看花眼”怎么办？StableVLA破解机器人视觉干扰难题
星尘智能联合北大清华的研究发现，当前最先进的VLA（视觉-语言-动作）模型在真实世界的视觉干扰（如镜头模糊、油污）下性能大幅下降，问题根源不在于视觉编码器或大语言模型，而在于连接两者的投影器（Projector）。研究提出的IB-Adapter（信息瓶颈适配器）方案，通过智能降噪机制，在不增加训练数据的情况下平均提升约30%性能，并让5亿参数的模型在鲁棒性上接近70亿参数模型。这项技术为具身智能从实验室走向真实环境提供了切实可行的解决方案。原文 ↗原文 ↗
核心观点
- ▍主流VLA模型在真实世界视觉干扰下性能下降的关键瓶颈，不在于视觉编码器或大语言模型，而在于连接两者的投影器（Projector）模块，该模块会不加区分地将噪声与有效信息一并传入决策系统。
- 01研究团队系统分析了多个SOTA VLA模型后发现，投影器（Projector）是鲁棒性的薄弱环节。主流的MLP结构相当于一个全通滤波器，无法区分目标物体信息与镜头污渍、反光等噪声。
- 02提出的IB-Adapter（信息瓶颈适配器），其核心思想源自信息论，通过关联分析、智能门控（Sigmoid Gate）和特征重构三重机制，在视觉信息进入决策系统前进行筛选，保留物体轮廓等有用特征，压制噪点等噪声。
- 03在不增加额外训练数据、不引入数据增强的情况下，IB-Adapter平均带来了约30%的性能提升。在LIBERO基准的严重腐蚀程度5设置下，StableVLA相比同类模型性能提升幅度从40.2%到139.6%不等。
- 04搭载IB-Adapter的0.5B参数模型，其鲁棒性表现可与7B参数级的VLA模型逼近，模型规模相差14倍，证明了“让机器人少被噪声欺骗”比单纯扩大模型更有效。
- 05在Astribot S1平台上进行的真实世界测试，涵盖抓取、倒水等任务并人为制造视觉干扰，StableVLA保持了较高操作成功率，而现有方案出现明显退化。
反方 / 局限
- — IB-Adapter在处理需要长时间序列保持空间精度的长程任务时，可能使动作轨迹不够精准。对此，StableVLA通过双路并行（MLP通路与IB-Adapter解耦融合）的务实解法来应对，表明该方案并非在所有情况下无副作用。
概念锚点
前置背景
技术原理
应用场景
平行视角
延伸追问