Google DeepMind 最新的 Gemini Robotics ER 2 被直接定义成机器人的“high-level brain”。它负责理解场景、拆分多步任务，甚至协调多台机器人，但真正的 motor execution 仍然可以交给下面的 VLA。更有意思的是，高层模型可以在机器人执行当前动作的同时继续思考下一步。

五年前是：

LLM → Skill Library

现在正在变成：

Embodied Reasoning Model → VLA / Planner / Tools / Other Robots

手越来越丰富了，但“大脑”依然不必亲自控制每个关节。

卡点：计划越来越聪明，但能力上限仍被底层技能与物理 Grounding 卡住

这一派真正的瓶颈并没有因为模型变大而消失。

SayCan 已经暴露了这个问题：如果底层没有相应技能，再聪明的语言模型也无从调用；如果技能执行失败，高层模型还必须判断“哪里失败了、下一步该如何恢复”。

到了 Gemini Robotics ER 2 这样的系统，高层能够调用的对象已经从固定技能扩展到 VLA、规划器、工具甚至其他机器人，但“高层计划是否真的能被可靠执行”仍然是关键边界。

大模型可以越来越清楚地知道“下一步应该干什么”，但从正确计划到可靠物理执行，中间仍隔着完整的机器人世界。

发展趋势：高层 Agent 不再亲自控制身体，而是编排越来越强的低层模型

这一方向现在呈现出的趋势，不是让 reasoning model 一路控制到电机，而是让它承担更长时程的任务理解、监控和协调，把具体执行交给 VLA、运动规划器和专用技能。

换句话说，机器人“大脑”正在变得更像一个会持续观察和调度的管理层。

03 模仿学习：机器人最容易学会“像人一样做”，也最容易被没见过的情况难住

如果只看近年来各种精巧的机械臂 Demo，一个容易被忽略的事实是：

很多非常好用的机器人 policy，并不需要一个巨大的语言模型。

2023 年的 ACT（Action Chunking with Transformers）就是代表。

传统行为克隆每个时刻预测一个动作，很容易出现误差累积：第一步偏一点，下一步看到的状态就变了，模型逐渐进入训练数据没有覆盖的区域。

ACT 的解决办法很直接：一次预测一段动作。

原始 ALOHA 工作只使用大约 10 分钟的示范数据，就能学习打开透明调料盒、插入电池等高精度双臂操作。在其真实任务中，ACT 直接以 50 Hz 预测关节位置。

▲图4｜ALOHA 与 ACT 展示了模仿学习非常诱人的一面：少量高质量人类示范，就能得到相当精细的机器人操作。

Diffusion Policy 则进一步处理了另一个机器人特有的问题。

把一个杯子放到桌子另一边，可以从左绕，也可以从右绕。人类示范本来就是多模态的，如果传统回归模型把两种动作“取平均”，反而可能生成一条谁也不会走的轨迹。

Diffusion Policy 用扩散过程建模复杂的动作分布，因此在高维、多解机器人动作中表现出了很强的适应性。

卡点：一旦离开示范分布，或者反应速度不够，优势就会迅速缩水

这一派始终有两堵墙。

第一堵墙叫分布偏移。

Diffusion Policy 的作者也明确写道，它依然继承 behavior cloning 的基本限制，当演示不足时性能会下降。

换句话说，机器人非常擅长模仿老师走过的路，但自己走错一步以后，未必知道怎么回来。

第二堵墙叫实时性。

扩散模型需要多轮去噪。原始 Diffusion Policy 为真实机器人专门减少 inference iterations，在 RTX 3080 上做到约 0.1 秒推理延迟。此后 One-Step Diffusion Policy 等工作继续把多轮生成压缩成一次。

这背后还有一个很有意思的矛盾。

Action chunk 越长，动作通常越平滑、模型调用越少；但机器人在一段 chunk 执行期间，对刚刚发生的环境变化也越迟钝。

Physical Intelligence 后来专门提出 Real-Time Chunking，也是因为大模型在生成下一段动作时，机器人不能总停下来等。

新旧 chunk 切换不好，还可能产生不连续甚至危险动作。

发展趋势：从独立 Policy 变成 VLA 的动作生成底座

所以 ACT、Diffusion Policy 并没有被 VLA 淘汰。恰恰相反，它们正在逐渐被吸收进 VLA，成为新的 action decoder。

这条路线从“完整方案”变成了基础设施。

04 强化学习：已经把机器人“练”得很强，但现实世界依然不是一个好训练场

如果要问强化学习目前在机器人上最成功的地方，答案并不难找：

走路、跑步、跳跃、动态平衡，以及越来越复杂的全身控制。

原因也很好理解。

这些问题虽然难，但奖励往往比较明确：别摔倒、往前走、跟踪目标姿态、减少能耗。而且大量训练可以搬到仿真中并行完成。

卡点：真机试错太贵，而仿真永远不完全等于现实

问题是，机器人 RL 最理想的训练方式，与真实世界天然冲突。

游戏里的 Agent 可以在一秒钟内死几百次；真实机器人摔一次，工程师可能得过去扶起来。抓取失败了，要重新摆物体；执行器过热，要等；动作太激进，甚至可能损坏硬件。

一篇聚焦真实机器人成功案例的 Annual Review 综述，把机器人 RL 的根本困难概括得很直接：

与物理世界交互复杂，而且昂贵。

稳定、样本高效的真实世界 RL 到今天仍然是重要研究方向。

▲图5 | 强化学习 Sim2Real 常用的域随机化技术：在仿真中主动改变动力学参数、传感噪声等条件，让策略适应更广泛的物理变化，从而提高迁移到真实机器人的鲁棒性。

于是 Sim2Real 成了 RL 的生命线。

机器人先在仿真里进行成千上万次甚至更多并行试错，再把 policy 部署到真机。

但新的问题随即出现：模拟器无法完全复制真实电机、摩擦、柔性、传感器噪声和时延。

针对人形机器人 locomotion，研究者至今仍在系统比较 dynamics randomization、delay/noise modeling 等方法如何缩小 reality gap。

发展趋势：从“从零练会”转向基础模型的后训练

不过 RL 最近正在出现一个很重要的分叉：

不再从零负责“教会机器人一切”，而是成为基础模型的强化训练。

Physical Intelligence 公布的 RL Token 就很典型。通用 VLA 已经知道怎样拿起螺丝刀、接近接口，但最后几毫米的精确对齐依然困难。其方案冻结大 VLA，让轻量 RL policy 专门学习这部分关键动作。

这可能是 RL 接下来非常现实的位置：

VLA 负责让机器人“什么都会一点”，RL 负责把真正需要落地的那几件事情练熟。

05 VLA：从机器人版“大模型”，进入数据、记忆和“最后一毫米”的硬仗

如果要选一条今天具身智能最受关注的路线，VLA 几乎没有悬念。

它背后的愿望很像大语言模型：

不要再为每个机器人、每个任务训练一个独立策略，而是先用大量、多样数据训练一个通用模型，再让能力迁移到新任务和新本体。

Open X-Embodiment 曾联合 33 个实验室，把 22 种机器人、超过 100 万个 episode 汇集起来。OpenVLA 随后从中整理约 97 万条机器人轨迹训练一个 7B 模型，为此使用 64 张 A100 训练 15 天。

▲图6｜VLA 的目标已经从“单任务模仿”走向跨任务、跨物体乃至全身控制。Figure Helix 是目前产业界这一方向最典型的系统之一。

2026 年，这场比赛已经明显升级。

Qwen-VLA 开始把 manipulation、navigation 与 cross-embodiment control 放进统一体系；NVIDIA 的 GR00T 系列则不断增加人类视频、仿真数据和跨本体动作表示，希望把更广泛的物理先验迁移给不同机器人。

Physical Intelligence 的 π 系列则开始展示 compositional generalization：机器人可以组合过去学到的技能，并通过语言 coaching、视觉 subgoal 等方式尝试训练中没有直接出现过的新任务。

卡点：数据、实时性、记忆，以及物理世界“最后一毫米”

VLA 越强，它目前真正的瓶颈反而越清晰。

卡点一：没错，还是数据

文字、图片、视频遍布互联网，但真实机器人“手应该怎么动”的数据并不存在于网页上。

Figure 推出 Index，本质上就是在尝试把人类日常物理行为变成新的训练资源。

Figure 官方称，截至 2026 年 8 月 25 日，平台累计收集超过 1600 万条真实世界视频，并计划未来一年继续大规模投入数据和算力。

卡点二：实时性

语言模型晚半秒回答，用户只会觉得卡；机器人晚半秒调整，杯子可能已经掉了。

Google 因此专门推出 Gemini Robotics On-Device，强调本地低延迟推理。

NVIDIA 的 VLA 体系也把 inference frequency 直接变成部署指标。

卡点三：记忆

当机器人终于会洗锅、叠衣服以后，问题开始从“一个动作会不会”变成：

整个厨房收拾到一半，它还记不记得哪些东西已经处理过？

Physical Intelligence 推出 Multi-Scale Embodied Memory 时就明确提出：随着单个技能越来越可靠，瓶颈正逐渐转向如何组织这些技能完成复杂任务。

RoboMME、RoboMemArena 等 2026 年出现的 benchmark，也开始系统评估 temporal、spatial、object 和 procedural memory。

卡点四：物理世界的“最后一毫米”

知道“插入网线”是一件事；让插头在接触、遮挡和毫米级误差下真正进入接口，是另一件事。

于是触觉、RL、专门的高速控制层又重新回到了系统里。

发展趋势：VLA 正在从“单体大模型”变成带记忆、触觉、RL 和高速执行层的复合系统

越来越多前沿系统不再坚持让一个网络包办所有时间尺度。高层 VLA 负责语义理解和通用动作先验，记忆模块负责维持长时程状态，RL 或专用 policy 负责把关键技能练熟，触觉与高速控制层负责解决接触和稳定性。

VLA 并没有让经典机器人问题消失。它只是把瓶颈从“完全不会做”推到了更深的位置。

06 世界模型：机器人终于开始“想象未来”，但想象必须值得相信

在之前的很多篇内容中，我们都系统分析过「VLA vs 世界模型」：

VLA 通常回答的是看到现在，我下一步该怎么动？

世界模型想再往前一步如果我这么动，世界接下来会发生什么？

这也是为什么视频生成模型突然开始和机器人产生越来越紧密的联系。

NVIDIA 与 Stanford 的 Cosmos Policy 是一个很典型的例子。它直接从预训练视频模型出发进行机器人后训练，不只生成 action，还同时预测未来图像和 value。这样机器人在测试时可以生成候选动作，并借助预测结果进行规划。

随后出现的 Cosmos 3 又更进一步，把语言、图像、视频、音频和 action 放进统一的 omnimodal world model 中，并同时探索 robot policy、forward dynamics 与 inverse dynamics。

▲图7｜World Model 的目标不只是“生成一个未来画面”，而是把动作和未来状态绑定起来，让模型能预测某个动作真正会造成什么后果。

卡点：看起来合理，不等于物理上正确

World Model 听起来很漂亮，问题也恰恰藏在“漂亮”里。

假设机器人把杯子往前推。

世界模型预测它移动了 10 厘米，画面看上去完全合理；真实世界里杯子却因为摩擦只移动 3 厘米。

作为生成视频，它可能已经合格。

作为机器人 planner，它可能已经错得足够致命。

2026 年针对机器人 world model 的综述因此把几个问题单独提出来：

contact modeling
hallucination control
action alignment
closed-loop evaluation

其中 action alignment 尤其关键。

世界模型不能只生成“某个看起来合理的未来”，它必须预测：

执行这个特定动作以后真正会发生的未来。

而目前连这一能力的统一评价标准都还不成熟。

发展趋势：从“生成未来”变成机器人决策的基础设施

真正有用的 World Model，评价标准正在从“视频像不像真的”转向“能不能改善真实决策”：它是否忠实对应特定动作，是否能筛掉危险候选，是否能在闭环里保持可信？

而不是被策略找到只存在于模型幻觉中的捷径。所以，对世界模型而言，下一阶段的比赛可能已经不是谁更会“脑补”。

而是谁的脑补，真正值得机器人拿自己的身体去相信。

07 比“端到端还是模块化”更有意思的答案

把这六条路线放在一起，会出现一个很有意思的变化。

几年前，端到端具身智能最“诱人”的愿景是：摄像头进，大模型出，电机直接动。

中间那些 planner、状态机、技能接口，最好统统消失。

但走到 2026 年，最前沿的系统反而重新开始出现明确的层级。

Figure 的 Helix 02 是最直观的案例。

它仍然强调一个统一学习系统，但内部按照物理世界不同的时间尺度分成三个层级：

System 2：负责较慢的语义理解与目标推理；
System 1：以 200 Hz 把感知转换成全身关节目标；
System 0：以 1 kHz 负责平衡、接触和全身执行。

▲图8｜Helix 02 的 System 2 / System 1 / System 0 分层。不同层按照不同时间尺度工作：语义推理更慢，视觉动作策略更快，而平衡和接触控制进入 kHz 级。

换句话说，大模型真的越来越接近机器人“大脑”了，但真正把身体稳稳撑住的，依然需要毫秒级的另一套智能。

Google 的 Gemini Robotics ER 2 也把高层 reasoning 和低层 VLA execution 分开；Physical Intelligence 则在 VLA 外面继续增加 memory、world model subgoal 和在线 RL。

这似乎正在指向一个比“端到端还是模块化”更有意思的答案。

未来的机器人或许不会回到过去那种每个模块都由工程师手写规则的系统，但也未必会由一个巨大网络从头包办到底。

模块化没有消失，它只是从“人工定义的模块”，逐渐变成了“学习出来的模块”。

过去，机器人按照感知、规划、控制被工程师拆成不同部件。

现在，它可能按照记忆、推理、预测、动作生成和高速控制，被学习系统重新划分。

真正的分叉，也许已经不是“经典机器人”和“大模型机器人”谁替代谁。

而是当机器人真正进入物理世界以后，我们到底应该把哪些事情交给一个通用模型，哪些事情交给专门的快速策略，又该如何让它们在不同时间尺度上共同工作。

从这个角度看，具身机器人已经走得很远。

但距离它真正成为像手机、汽车一样可靠的通用产品，也才刚刚开始。

标签

#机器人 #具身智能