平均成功率91%！苹果团队披露机器人“大脑”进展

2026-11-08 · jnyinniao.com

苹果 研究团队披露 机器人 “大脑”研究进展。 当地时间11月4日， 苹果 研究团队在预印本平台arXiv提交论文《Perceptive Humanoid Motion from Simulation》，披露了人形 机器人 自主控制系统HALO。研究团队将该系统部署在宇树科技的G1人形 机器人 上进行验证，让 机器人 将在仿真环境中学到的动作，带到陌生的现实

苹果 研究团队披露 机器人 “大脑”研究进展。

当地时间11月4日， 苹果 研究团队在预印本平台arXiv提交论文《Perceptive Humanoid Motion from Simulation》，披露了人形 机器人 自主控制系统HALO。研究团队将该系统部署在宇树科技的G1人形 机器人 上进行验证，让 机器人 将在仿真环境中学到的动作，带到陌生的现实房间中执行。

研究团队还公开了数据生成、模型训练和部署代码，涵盖动作生成、动作跟踪、任务编排以及仿真和真实 机器人 运行等环节。

项目页面展示了机器人听从指令推箱子、跟随人、坐上椅子，以及侧身穿过半开的门、俯身或爬行穿过桌底等动作。这些任务需要机器人理解周围环境，并根据空间条件调整身体姿态。

执行任务时，HALO由三个层级协同控制。最上层是基于视觉语言模型（VLM）的任务编排模块，默认采用千问Qwen3.6-35B-A3B，在机器人搭载的Mac mini上本地运行，与动作生成器共用模型服务引擎，无需联网即可工作。系统也可选择通过API调用云端模型，以获得更强的推理和规划能力。

这一层需要处理指令中的模糊信息，并根据环境安排动作。例如，“坐下”没有明确指定目标，需要机器人从眼前场景中判断坐在哪里；“坐到椅子上”在路径畅通时可以直接执行，但如果有桌子挡路，就需要拆成俯身通过、接近椅子、坐下等连续子任务。任务编排模块通过机器人视角的视频持续观察环境，判断当前动作是否成功，并据此推进计划或重试，每次向动作生成器下达一个明确的子任务。

中间的动作生成层采用另一款千问模型Qwen3.5-2B。研究团队将其作为参数冻结的编码器，与负责生成动作的DiT解码器配合，根据机器人看到的画面和当前子任务，规划未来约5秒的全身动作。这一层每秒重新规划约3次，使动作计划能够随环境变化持续更新。

底层则是经强化学习、策略蒸馏等步骤训练的动作跟踪器，以每秒50次的频率运行，结合深度图像和机器人自身状态，将动作计划转化为关节控制指令。

三个层级分别承担任务安排、动作规划和身体控制，协同完成从理解指令到执行动作的过程。

据论文披露，研究团队在6个未预先扫描或建图的真实环境中开展360次单项任务测试，平均成功率为91%。另在一个真实环境中，对3种组合任务分别开展10次测试，平均成功率为70%。其中，“俯身通过障碍—走向目标—推箱子”这一组合的成功率为50%。

机器人如何获得完成这些任务所需的数据，是这项研究关注的问题。研究团队在1000个程序生成的模拟家庭环境中，合成了约300小时的主要训练数据，将机器人“看到什么”“接到什么指令”和“如何运动”配对起来。

具体而言，系统先生成动作，再将动作放进虚拟房间，最后从机器人的视角生成画面。项目页面以“坐到扶手椅上”为例，将其拆成向前走、转身和坐下等片段，由动作生成模型根据文字提示、路径点和关键姿态生成动作序列，再通过几何检查筛选动作，减少脚部滑动、身体穿入地面等问题。

随后，系统将动作安排到程序生成的房间中，检查机器人与家具的位置关系，寻找没有碰撞的摆放方案，再利用仿真工具渲染机器人执行动作时看到的画面。训练中还会改变光照、色调、画面模糊程度等条件，使视觉输入更加多样。这样，同一套流程就能生成包含指令、视觉画面和全身动作的配套数据。

据介绍，研究团队使用250张 英伟达 H100 GPU，耗时约48小时合成主要训练数据。动作生成器通过模仿学习训练，使用64张B200；动作跟踪器经强化学习、策略蒸馏等步骤训练，使用4张H100。

需要指出的是，仿真生成数据并未完全摆脱人工参与。团队表示，新增物理任务仍需人工编写提示词、设计动作关键帧，部分动作还使用了人类视频或动捕素材。

研究团队同时指出，目前机器人主要依赖视觉感知，难以直接感知接触情况；当物体离开相机视野或被遮挡时，涉及较多接触的任务表现会下降。加入触觉感知，是后续改进方向之一。