（论文速读）CLIPDenoising：冻结 CLIP 视觉编码器，让图像去噪泛化到未知噪声

原创于 2026-10-27 09:20:54 发布 · 542 阅读

7 ·

本内容遵循CC 4.0 BY-SA版权协议

GEO检测

收录于

图像处理

本文提出CLIPDenoising方法，利用冻结的CLIP视觉编码器（RN50前四层）提取具有失真不变性与内容相关性的多尺度特征，结合原始含噪图像输入和渐进式特征增强（PFA），构建非对称编码器-解码器结构，实现仅用单一高斯噪声训练即可泛化至多种OOD噪声（合成/真实sRGB/低剂量CT）的图像去噪。实验验证其在跨噪声类型、强度及域迁移任务中的鲁棒性。

论文题目：Transfer CLIP for Generalizable Image Denoising（迁移 CLIP 实现具有泛化能力的图像去噪）
会议：CVPR 2024
论文地址：CVPR 2024 Open Access Repository
官方代码：
GitHub - alwaysuu/CLIPDenoising: CVPR2024: Transfer CLIP for Generalizable Image Denoising · GitHub

摘要：图像去噪是计算机视觉中的一项基础任务。尽管当前基于深度学习的监督和自监督方法在去除训练分布内噪声方面取得了出色效果，但它们对分布外（Out-of-Distribution，OOD）噪声的敏感性仍然是一项重大挑战。近年来出现的对比语言—图像预训练模型 CLIP 已在开放世界图像识别和分割中展现出卓越能力，但利用 CLIP 增强低层视觉任务鲁棒性的潜力仍未得到充分探索。本文发现，CLIP 冻结的 ResNet 图像编码器所提取的某些密集特征具有失真不变性和内容相关性，这两种性质非常有利于实现可泛化的去噪。基于这些性质，我们设计了一种非对称编码器—解码器去噪网络，将含噪图像本身以及 CLIP 冻结 ResNet 编码器的多尺度特征共同输入可学习的图像解码器，以实现可泛化去噪。进一步地，我们提出渐进式特征增强策略，以缓解特征过拟合并提高可学习解码器的鲁棒性。在合成噪声、真实世界 sRGB 噪声及低剂量 CT 图像噪声等多种 OOD 噪声上的大量实验和对比表明，该方法具有优越的泛化能力。

一、研究背景：为什么去噪网络一换噪声就失效？

1.1 去噪质量高，不等于泛化能力强

深度去噪网络通常通过含噪—干净图像对训练，例如将高斯噪声图像映射到干净图像。只要测试噪声和训练噪声服从相近分布，模型便可能取得较高 PSNR；但真实相机噪声、泊松噪声、椒盐噪声及其他未知退化未必满足这一假设。模型可能学会了某种噪声的去除规律，却没有真正学到对噪声变化稳定的图像表示。

已有方法使用随机遮挡、元学习或对抗训练改善鲁棒性，但部分需要多种训练退化。本文的问题更明确：能否只用一种噪声类型、一个噪声等级训练，就对训练时从未见过的噪声保持去噪能力？

1.2 为什么想到 CLIP？

CLIP 通过图文对比学习获得开放世界识别能力，更注重图像内容而非具体噪声。作者据此猜想：CLIP 的中间视觉特征，可能在图像受到噪声扰动时仍较稳定，同时保留区分不同图像内容所需的信息。

但去噪还要恢复像素与纹理，不能直接使用 CLIP 的全局向量，也不能假定所有层都抗噪。需要特别说明，CLIPDenoising 是基于成对数据的监督训练方法，并不是只靠单张测试图像优化的 Zero-Shot 去噪，也没有使用 CLIP 文本编码器参与去噪。

二、关键发现：CLIP 哪些特征能同时保留内容、忽略噪声？

2.1 失真不变性：同一幅图加噪后，特征变化应尽量小

作者对一幅干净图像加入不同强度的高斯噪声，送入冻结的 CLIP ResNet 图像编码器，再比较干净图与含噪图在各层的特征余弦相似度。ResNet 可以产生多个空间尺度的密集特征 F¹～F⁵，但真正具有较好噪声鲁棒性的并不是全部五层。

论文 Figure 1：CLIP 不同 ResNet 尺度、不同噪声强度与模型规模的特征相似度

结果表明，CLIP RN50 的前四个尺度 F¹～F⁴ 对噪声表现出较高的相似度，部分更深尺度的相似度更高；第五尺度的趋势则不理想。此外，RN50x4、RN50x16 等更大版本并不必然更稳健，尤其浅层特征的相似度可能下降。网络更大，不意味着其密集特征更适合 OOD 去噪。

论文 Figure 2：普通分类 ResNet50 与监督去噪 Restormer 的特征相似度对照

对照非常关键：使用 ImageNet 监督分类训练的 ResNet50，以及针对高斯去噪训练的 Restormer，都没有表现出与 CLIP RN50 相同的跨尺度稳定趋势。这说明作者发现的性质不能简单归结为“用了 ResNet”或“网络做过预训练”，而与 CLIP 的图文对比学习表示有关。这并非对任意退化均成立的数学证明。

2.2 内容相关性：抗噪不等于丢失图像信息

若某种特征对所有图像都输出相似结果，即使它不受噪声影响，也无法用于去噪。因此作者又测试了第二项性质：不同内容的图像能否在特征空间中区分开？

论文 Figure 3：Lena、Baboon、F16 和 Peppers 在不同噪声水平下的多尺度特征 t-SNE 分布

在不同尺度与噪声强度下，来自不同图像的特征仍呈现较明显的分离。结合 Figure 1，作者得到构建去噪器所需的两个条件：同一内容在不同噪声下表征相近，即失真不变；不同内容的表征仍可分辨，即内容相关。前者有利于抵抗未知噪声，后者让解码器有可能恢复正确图像，而不是输出过度平滑的“平均图像”。

三、CLIPDenoising：冻结编码器，学习多尺度图像重建

3.1 为什么采用非对称编码器—解码器？

本文没有重新训练一个完整 U-Net，也没有微调 CLIP 的视觉编码器，而是采用冻结 CLIP RN50 + 可训练卷积解码器的非对称结构。冻结编码器负责产生相对稳定的图像表示，解码器负责把这些表示还原为像素。这样设计的目的，是尽量保留预训练 CLIP 的鲁棒特征，同时只让解码部分适应去噪任务。

论文 Figure 4：CLIPDenoising 的冻结 RN50 编码器、多尺度跳接与可学习解码器

给定含噪图像 Iₙ，RN50 提取 F¹ₙ、F²ₙ、F³ₙ、F⁴ₙ 四个尺度的密集特征。解码器以最深的 F⁴ₙ 为起点，逐级上采样，并依次拼接对应尺度的 F³ₙ、F²ₙ、F¹ₙ，形成类似跳跃连接的细节补充路径。到半分辨率层级时得到特征 Fₗ，再将其上采样至原始尺寸，与原始含噪图像 Iₙ拼接，经 Conv-block 和最后一个 3×3 卷积生成去噪结果 I𝒅。

这一结构有两个容易忽略的细节。第一，作者没有使用噪声鲁棒性较差的第五尺度 F⁵。第二，原始含噪图像虽然含有噪声，却仍提供了 CLIP 深层特征中可能缺失的高频纹理和精确位置。稳定的语义/结构特征负责“别被噪声带偏”，原始图像通路负责“别把细节丢掉”，二者共同完成恢复。

3.2 训练目标为什么这么简单？

作者用固定噪声类型与等级合成含噪训练图像，采用 L1 损失：

$\mathcal L=\mathbb E_{p(\mathcal I_c)}\left|\mathcal I_d-\mathcal I_c\right|_1.$

这里 I𝒅 是解码器输出，I꜀ 是干净图像。与某些预测噪声残差的方法不同，论文没有使用全局残差学习，因为目标是直接从鲁棒特征重建干净图像，而不是让网络主要预测噪声。训练时 RN50 参数保持冻结；测试时直接将从未见过的 OOD 含噪图像送入网络，不需要逐张重新训练。

四、渐进式特征增强 PFA：为什么还要扰动冻结特征？

冻结编码器并不意味着解码器不会过拟合。训练图像的纹理与特征仍可能重复，解码器容易记住局部模式。因此作者提出 Progressive Feature Augmentation（PFA，渐进式特征增强）：不改动 CLIP 权重，而在训练期间随机扰动其输出特征。

$\hat{\mathbf F}^{i}=\boldsymbol\alpha_i\odot\mathbf F^i,\qquad \boldsymbol\alpha_i\sim\mathcal N!\left(\mathbf1,(\gamma i)^2\mathbf I\right),\quad i=1,2,3,4.$

式中 αᵢ 与 Fⁱ 尺寸相同，逐元素相乘；其均值为 1、标准差为 γ×i，论文默认 γ = 0.025。这属于乘性随机增强：不是直接向输入像素加噪，也不是重新生成退化图像，而是给送往解码器的中间特征增加随机变化。

这里的“Progressive”指尺度越深，扰动越强，不是训练迭代次数越多就逐渐增强。浅层特征含有较丰富的边缘、纹理与细节，过大扰动可能影响像素重建；较深的特征偏向抽象内容，允许更强随机化，从而迫使解码器学习对特征小幅变化更稳定的重建关系。PFA 仅在训练阶段使用，推理阶段不需要额外的数据增强或多次预测。

因此，该方法的核心组合可以压缩成一句话：CLIP 冻结特征提供稳定的表示基础，原始含噪图像补充像素细节，PFA 则防止可学习解码器重新过拟合训练分布。

五、实验结果与消融分析

5.1 实验设置：真正检验“未知噪声”

合成实验中，作者仅用 CBSD432 干净图像加 i.i.d. 高斯噪声 σ = 15 训练，然后在 Kodak24、McMaster、CBSD68、Urban100 上测试更强高斯噪声、空间高斯、泊松、Speckle 和椒盐噪声。训练采用 AdamW、余弦退火学习率、300k 次迭代、128×128 图像块及 batch size 16。评价指标为 PSNR 和 SSIM。相比部分基线需使用多个噪声等级，本文特意保持单一噪声类型与单一强度，以突出跨分布迁移的难度。

5.2 合成 OOD：训练高斯 σ = 15，测试不同强度和类型

论文 Table 1：在四个数据集与多种合成 OOD 噪声上的 PSNR/SSIM 对比

在更强高斯噪声 σ = 50 下，CLIPDenoising 在 CBSD68 获得 26.69 dB，高于 DIL 的 26.43 dB；McMaster 为 27.43 dB，而 DIL 为 26.61 dB。但 Kodak24 上 DIL 的 27.46 dB 略高于本文的 27.39 dB，不能概括成所有项目均第一。面对空间高斯噪声 σ = 55，本文在 CBSD68 上达到 27.60 dB，优于 MaskDenoising 的 26.72 dB；在 McMaster 上为 28.31 dB，优势也较明显。泊松、椒盐噪声上整体同样有竞争力；论文同时承认某些 Speckle 条件下 HAT、DIL 更有优势。

论文 Figure 5：空间高斯、椒盐和泊松等未知噪声下的视觉去噪效果

定性对比说明，传统在训练噪声上很强的网络并不一定能处理新的退化类型。CLIPDenoising 的贡献不只是提升某一类噪声的极限 PSNR，而是在多种测试噪声之间维持较稳定的图像结构和细节恢复能力。

5.3 真实 sRGB：仅用合成噪声训练，直接测试相机数据

论文 Table 2：SIDD Validation、PolyU 与 CC 真实相机噪声定量结果

对于真实相机噪声，作者使用 DIV2K 干净图像及 ISP 流程合成固定强度的 Poisson-Gaussian 噪声进行训练，然后直接在三个真实数据集测试。在 PolyU 上，本文 PSNR 为 37.54 dB，接近 DIL 的 37.65 dB，SSIM 达到 0.960；在 CC 上本文为 36.30 dB，高于 DIL 的 36.10 dB。SIDD Validation 上本文为 34.79 dB，接近 CVF-SID 的 34.81 dB 和 LUD-VAE 的 34.91 dB，但 SSIM 并非最优。也就是说，实验支持“竞争性泛化”，并不支持“真实噪声全部指标第一”。

论文 Figure 6：PolyU 和 SIDD 真实 sRGB 噪声的定性结果

CLIPDenoising 不需要目标域真实含噪训练集，也不需要逐张重新优化。与依赖目标域数据的自监督方案相比，它强调的是一次监督训练之后直接迁移到新噪声域。

5.4 低剂量 CT：自然图像预训练特征能否跨到医学图像？

论文 Table 3：低剂量腹部 CT 去噪与 TV、ScoreSDE、Noise2Sim 的比较

为了适配单通道 CT，作者在冻结 RN50 之前额外加入可学习的 1×1 卷积，将 CT 图像映射至三通道。使用九名患者的正常剂量 CT 加 σ = 5 高斯噪声进行训练，在另一名患者的低剂量 CT 上测试。本文得到 45.88 dB / 0.976，优于 ScoreSDE 的 45.36 dB / 0.972，与 Noise2Sim 的 45.98 dB / 0.978 接近，但不是最优。该结果说明来自自然图像的 CLIP 表示具有一定跨领域迁移潜力，同时不能把一次 CT 数据集实验推广成所有医学影像场景都可靠。

论文 Figure 7：低剂量 CT 图像及不同方法的去噪细节比较

5.5 消融：原始输入、冻结策略与 PFA 缺一不可吗？

论文 Table 4：原始含噪图像、F⁵、随机训练、微调与 PFA 的消融

这张表是理解设计选择的关键证据。在 Kodak24 高斯 σ = 50 测试中，基础结构为 26.87 dB；移除原始含噪图像拼接后降至 21.76 dB，表明仅靠 CLIP 特征不足以恢复全部细节。额外接入 F⁵ 后降为 25.61 dB，吻合前面“第五尺度不够稳健”的特征观察。

更值得注意的是训练策略：如果随机初始化整个编码器，OOD 高斯 σ = 50 下只得到 20.87 dB；如果从 CLIP 权重出发但进一步微调整个编码器，则只有 19.03 dB。两种方式在训练分布内的 σ = 15 测试上反而略有提高。这说明性能下降并不是“网络没有学会去噪”，而是网络更贴合训练噪声，却破坏了原先可迁移的特征结构。引入 PFA 后，σ = 50 下从 26.87 提升至 27.39 dB；训练分布内指标则基本不变。

论文 Figure 8：随机初始化、CLIP 微调与冻结编码器在多种 OOD 噪声上的鲁棒性

论文 Table 5：CLIP RN50、RN50x4 与 RN50x16 作为冻结编码器的泛化比较

Urban100 上，高斯 σ = 50 时 RN50 达到 25.86 dB，而 RN50x4、RN50x16 分别只有 24.04 和 23.44 dB。更大 CLIP 编码器不一定更适合去噪，其浅层特征能否在噪声下保持稳定，可能比模型规模更重要。补充材料还讨论了计算开销及去雨任务。

六、总结与思考

本文的主要价值不在于复杂的损失函数，而在于先验证基础模型哪些特征真正适合目标任务，再用尽量少的可学习模块迁移这些性质。作者通过特征相似度和内容可分性分析，选择冻结的 CLIP RN50 前四层密集特征；通过非对称解码器和原始图像跳接保留像素细节；最后用 PFA 降低解码器对训练特征分布的依赖。由此，只在固定噪声上训练的网络，仍能处理多种未见过的合成和真实噪声。

从方法设定上看，它也存在边界：冻结 CLIP 特征并不天然包含全部高频细节，所以必须保留原始含噪图像通路；使用更大的 CLIP 编码器未必更好；PFA 虽能带来增益，却不能保证任意未知噪声下都最优。此外，论文对 CLIP 特征为什么具有这种不变性的解释属于合理假设，“图文对齐可能抑制高频噪声”不是经过严格证明的唯一因果机制。作者也观察到 MoCo-v3 预训练 RN50 具有一定鲁棒性，说明这一方向可能不局限于 CLIP。

如果把论文压缩为一句话：不要让去噪网络从头学习“什么是稳定的图像内容”；先从具有鲁棒表征的预训练模型中提取特征，再训练一个不过度依赖已知噪声的解码器。

标签

#人工智能 #图像去噪 #图像处理 #CLIP