【VLA与模仿学习】CLIP论文精读

原创于 2026-10-27 10:39:33 发布 · 94 阅读

3 ·

本内容遵循CC 4.0 BY-SA版权协议

GEO检测

收录于

VLA与模仿学习

本文精读CLIP论文，阐述其通过对比学习在4亿图文对（WIT数据集）上联合训练图像与文本编码器，实现视觉-语言对齐；核心创新在于用图文匹配替代生成式建模，显著提升训练效率，并支持零样本分类——仅需类别文本描述即可推理。关键技术包括InfoNCE损失、双塔架构、可学习温度参数、Prompt工程与集成策略。实验表明其在ImageNet等30+数据集上零样本性能媲美监督模型，具备强分布鲁棒性。

一句话定位
用互联网上「图+配文」做监督，训练图像编码器和文本编码器进同一向量空间；推理时只要把类别名写成句子，就能零样本分类——不必再为每个数据集重新贴标签训练。

本页概念卡

主模型：CLIP · 工程轻量版 MobileCLIP · 变体 SigLIP · FC-CLIP
训练核心：对比学习 · InfoNCE · WIT
推理用法：零样本迁移 · CLIP 提示工程 · 余弦相似度
下游谱系：VLM · 语义积木

1. 背景概念（给新人）

站在 视觉–语言对齐（Vision–Language Alignment） 这条线上：让「看见图」和「读到话」能互相检索。

术语	白话
CLIP	Contrastive Language–Image Pre-training：对比式图文预训练
对比学习	正样本靠近、负样本推远；这里正样本=同一对图文
InfoNCE	一批里把「正确配对」当分类目标的对比损失（CLIP 用对称版）
余弦相似度	两个向量夹角的余弦；越大越「像」
零样本迁移	下游任务不微调、不看训练图，只靠文字描述类别就分类
WIT	WebImageText：论文自建约 4 亿图文对数据集
Prompt（提示）	把类名包进句子，如 `A photo of a {label}.`，缩小「词」与「网文配文」分布差
Linear probe（线性探针）	冻结编码器，只训一个线性分类头，用来测表征质量

旧范式痛点（生活类比）

ImageNet 式分类器像「只会认考卷上印好的 1000 个选项」——换数据集就要重新标注、重训头。
自然语言监督像「看图说话的互联网海量练习册」：不必把概念压成固定类号。

2. 论文在干什么

问题：封闭类别监督限制通用性；早期「从图配文学表征」要么数据太小、要么预测整句词太贵，零样本 ImageNet 曾只有 ~11.5%。
设定：
- 预训练：在 WIT 上从图文对学双塔编码器
- 评测：30+ 视觉数据集上的零样本分类；另做 linear probe、分布偏移鲁棒性
贡献概览：
1. 证明对比匹配「哪句配哪图」 比生成/预测完整 caption 高效一个数量级量级
2. 规模化到 4 亿对 + 系列 ResNet / ViT，零样本 ImageNet 匹配原始 ResNet-50（76.2%）
3. 系统研究 prompt / 集成、与监督学习对比、自然分布偏移上的有效鲁棒性
4. 开源权重与代码

3. 核心创新点

可扩展的对比图文预训练（CLIP）
不预测具体词，只预测 batch 内正确图文配对 → 比 caption 生成 / BoW 预测更高效（文中相对 LM 约 4×，相对 BoW 再叠加效率）。
文本编码器 = 可合成的分类器
推理时用文本编码「类名描述」得到分类权重；换任务 = 换文字，不用换头。
规模 + 简化实现
WIT 4 亿对；从零训；线性投影（不用复杂非线性投影）；可学习温度 $τ\tau$ ；batch 32768。
Prompt 工程与集成
默认模板 + 多模板 embedding 平均，在 36 数据集上平均约 +5 点，接近「算力翻 4 倍」的收益但推理可摊销。

4.1 数据：WIT

从公开网络收集约 400M (image, text) 对。
用约 50 万查询词（维基高频词、二元组、WordNet 等）检索，每查询最多约 2 万对，尽量覆盖广视觉概念。
总词量大致对标 GPT-2 的 WebText。

4.2 对比目标（训练）

给定 batch 内 $N$ 对真实图文：

图像编码器 → $I_f$ ，文本编码器 → $T_f$
线性投影 + L2 归一化 → $I_e, T_e$
相似度矩阵： $logits=IeTe⊤⋅et\mathrm{logits} = I_e T_e^\top \cdot e^{t}$ （ $t=log⁡τt=\log\tau$ ，可学习）
对称交叉熵：图像→文本、文本→图像各算一遍再平均（InfoNCE / multi-class N-pair 族）

直觉：batch 里像填「连连看」——对角是正确答案，其它 $N^2-N$ 格是负样本。

4.3 架构

侧	结构	要点
图像	ResNet 系列（RN50→RN50x64）或 ViT（B/32、B/16、L/14；另有 L/14@336）	ResNet 用 ResNet-D、抗混叠池化、attention pooling
文本	Transformer（基线约 63M，12 层，宽 512，8 头）	小写 BPE，词表 49152，最长 76；取 `[EOS]` 激活再投影
投影	线性	不做 SimCLR 式 MLP 投影头

训练：32 epoch，Adam，混合精度，最大 ResNet 约 592×V100 / 18 天；ViT-L/14 约 256×V100 / 12 天。

4.4 零样本推理

为每个类别构造文本（可多 prompt）→ 文本编码器 →（可选）多模板 embedding 平均并归一化
图像编码并归一化
与所有类文本算余弦相似度（×温度）→ softmax → 类别

默认强模板：A photo of a {label}.（ImageNet 单模板约 +1.3%；再加 80 模板集成约再 +3.5%）。

5. 整体框架（Mermaid）

6. 实验与结论

零样本 ImageNet：最佳 CLIP 约 76.2% top-1，匹配原始 ResNet-50，且未使用 ImageNet 的 128 万训练样本；top-5 约 95%。
相对 Visual N-Grams：ImageNet 11.5% → 76.2%；aYahoo / SUN 亦大幅提升（注意数据与算力未严格对齐）。
vs ResNet-50 linear probe：27 数据集上零样本 CLIP 赢 16 个；细粒度有的极强（Cars/Food）有的偏弱（Aircraft/Flowers）。
Prompt+集成：36 数据集平均约 +5 点。
表征：linear probe 在多基准上优于同期公开 ImageNet 预训练模型；对自然分布偏移有更强 effective robustness；若再在 ImageNet 上适配线性头，ID 升、OOD 平均反而略降——说明「零样本不贴合特定分布」是鲁棒性来源之一。
局限（论文自述要点）：仍非万能（计数、细粒度、合成/专科任务弱）；数据效率相对人类差；互联网数据有偏见与安全风险；开放词汇≠可靠落地。