1. VLA训练范式的演进：从SFT到RL的必然转变
视觉语言动作模型（VLA）正在重新定义机器人任务执行的范式。这类模型能够根据视觉输入和语言指令输出连续动作序列，在家庭服务、工业自动化等领域展现出惊人潜力。但早期的VLA训练方法存在明显瓶颈——它们过度依赖监督微调（SFT）阶段收集的专家轨迹数据。
我在调试π-0模型时遇到过典型问题：当夹爪初始状态从"打开"变为训练数据中未出现的"闭合"状态时，模型完全无法完成简单的放置动作。这种对数据分布的敏感暴露了SFT方法的根本缺陷：它本质上是在模仿专家行为，而非真正理解任务逻辑。就像教孩子写字时只让他临摹字帖，却不解释笔画顺序的意义。
三大核心痛点逐渐显现：
- 数据依赖陷阱：Google的RT-2-X项目需要消耗相当于开源社区数据集Open X-Embodiment数十倍的数据量。我们在LIBERO基准测试中发现，即使使用1692条专家轨迹，SFT模型的泛化能力仍不理想
- 过拟合魔咒：模型会机械记忆轨迹特征而非学习任务本质。测试时将桌面纹理从木纹改为大理石，成功率立刻下降37%
- 性能天花板：SFT模型的上限被专家数据质量锁死。我们分析CALVIN数据集发现，约15%的专家轨迹本身存在优化空间
2. π_RL框架的技术突围：Flow Matching与RL的化学反应
2.1 传统RL在VLA中的水土不服
常规强化学习在语言模型领域已有成熟应用（如RLHF），但直接套用到VLA场景却遭遇独特挑战。最关键的障碍来自flow matching技术的数学特性——它通过ODE（常微分方程）描述从噪声分布到目标动作的连续变换过程：
# 典型flow matching动作生成流程
def generate_action(noise):
trajectory = [noise]
for t in np.linspace(0, 1, steps=10):
426
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
