003、语言与动作的语义对齐：从CLIP对比学习到VLA跨模态映射的原理与实现
昨晚调一个机械臂抓取实验，模型在仿真里表现完美，换到真机上就开始抽风——明明指令是“把红色马克杯放到托盘右侧”，机械臂却死死盯着桌上的蓝色保温杯。日志打出来一看，文本编码器输出的特征和视觉特征在余弦相似度上差了0.3个点，这差距在仿真里根本看不出来，真机一上光照变化、背景杂乱，语义对齐的脆弱性就暴露无遗。这个坑让我意识到，语言和动作之间的那道“语义鸿沟”，不是靠堆数据就能填平的，得从表征层面想清楚。
从CLIP里偷师：对比学习到底对齐了什么
CLIP的核心逻辑其实特别朴素——把图片和文本分别扔进两个编码器，拉近匹配对的距离，推远不匹配对的距离。但很多人忽略了一个关键细节：CLIP对齐的不是“像素”和“字符”，而是“语义概念”的分布。比如“红色马克杯”这个短语，在CLIP的文本空间里是一个点，在图像空间里对应的是所有红色马克杯图像的聚类中心。对比学习做的，就是让这两个空间的几何结构尽量同构。
我在做机器人数据预处理时，发现一个特别容易踩的坑：直接用CLIP的预训练权重提取文本特征，然后拿去做动作预测的conditioning，结果发现模型对“左”“右”这种空间词特别迟钝。后来查了CLIP的训练数据，发现这类相对位置词在图文对里出现频率极低，CLIP根本没学好这些概念。所以做VLA的时候，别指望CLIP能给你提供完美的空间语义，它更多是给你一个“初始化”的起点。
跨模态映射的三种姿势：拼接、对齐、融合
VLA模型里处理语言和视觉的方式，大致能分成三类。第一种是早期融合，
订阅专栏 解锁全文
405
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
