7.0
深览指数
科技量子位·henry··AI 生成

刚刚,GPT-6 Astra接上宇树G1,把厨房收拾了!

斯坦福团队HomeBody项目让GPT-6 Astra连接宇树G1机器人,在从未见过的厨房中执行整理、丢弃、取药等复杂任务。系统核心思路是让大模型调用导航、抓取、开抽屉等预置技能,而非直接生成运动指令。部署到新环境无需额外训练数据,但依赖现成的感知、规划和控制模块。文章详细拆解了探索建图、数字孪生构建、技能调度三条技术路线,并对比了当前大模型控制机器人的几种主流方案——直接控制动作、搭配VLA、或调度技能库。适合关注具身智能技术路线与落地的读者。原文 ↗

核心观点
  • ▍HomeBody的核心思路是让GPT将机器人预置技能当作工具调用来完成任务,而非由大模型直接生成运动指令。
  1. 01机器人首先执行探索指令,通过相机、激光雷达和SLAM记录厨房的空间布局与物体位置,形成空间记忆。
  2. 02Astra将现实厨房的几何与视觉信息映射到Isaac Sim仿真平台,构建数字孪生,用于判断空间关系。
  3. 03系统将SLAM测得的几何数据约束重建结果,确保台面位置、通道宽度与实际一致。
  4. 04Astra根据当前画面、地图、空间记忆和手部状态,选择调用导航、抓取、放置、开抽屉、从抽屉取物共5项技能。
  5. 05取药任务中,系统从保存的关键画面中找到抽屉位置,依次调用导航、开抽屉、取物技能,无需用户指定具体位置。
  6. 06HomeBody使用的技能库(Navigate/Pick/Place/Open drawer/Pick from drawer)有统一接口,大模型只需指定目标位置和物体。
  7. 07抓取技能内部自行完成物体检测、深度估计、抓取姿态计算和运动规划,GPT只决定抓哪个物体和用哪只手。
  8. 08HomeBody使用预训练的AMO控制策略协调下半身行走与上半身操作。
反方 / 局限
  • — 文章指出,目前系统运行存在延迟,Astra远端决策和模型推理会使动作间出现等待。
  • — 硬件限制如手指舵机过热是系统当前面临的瓶颈。
  • — 文章承认“不额外训练”不等于系统从未训练,现成的感知、运动规划和预训练控制器是运行基础。
10 分钟 · 5 卡片 · 10 资料
读原文 →

前置背景

技术原理

平行视角

未来推演

延伸追问