卷积神经网络（CNN）的反向传播细节

0 · 导读：为什么 CNN 的反向传播值得单独一篇

《神经网络》篇的结论可以压成一句话：反向传播 = 链式法则沿计算图逆拓扑序走一遍，每个密集层只出两种形态——误差回传 ${\delta }^{(l)}=(W^{(l+1)}{)}^{\top }{\delta }^{(l+1)}\odot {\phi }^{\prime }(z^{(l)})$，权重梯度 $\partial \mathcal{L}/\partial W=(a^{(l-1)}{)}^{\top }\delta$。卷积层并没有推翻这个框架，它只是把「密集矩阵乘」换成了带权重共享的稀疏线性算子。由此产生三个 MLP 时代不存在的新问题：

1. 权重梯度要累加，不是平均。一个 $3\times 3$ 核被 $H_o\times W_o$ 个空间位置共享，每个位置都对同一份 $W$ 产生一份梯度——$\partial \mathcal{L}/\partial W$ 是对全部位置的求和。写丢一个 $\sum$ 是最常见的静默错误；
2. 输入梯度是 full convolution（转置卷积）。感受野重叠意味着同一个输入像素被多个输出位置共享，回传时同样要累加；而「前向算子的转置」在卷积这里的标准形式是 full conv——「翻转」第一次出现在反向传播里，这是全文的核心；
3. stride / padding / dilation 各自变形。stride $s$ 在反向里变成对上游梯度 $\delta$ 的 dilation（插零）；padding $p$ 变成 full conv 之后的 裁剪；不能整除时的余数 $r$ 变成 PyTorch 的 output_padding——三个超参在反向里各有归宿，记混任何一个都会得到「形状对、数值错」的梯度。

全文路线图：§1 把前向约定钉死（互相关 vs 真卷积、线性算子视角、im2col 视角）→ §2 给出统御全篇的「VJP / 转置」观点 → §3 卷积层三条公式的完整推导 + 3×3 手算全数字 → §4 其余算子（池化/激活/FC/softmax）→ §5 端到端微型 CNN（666 个参数全部过数值梯度检验）→ §6 常见错误清单 → §7 计算量与内存 → §8 框架映射与高性能内核。

1 · 前向传播速查：先把约定钉死

1.1 互相关 vs 真卷积：一切混乱的根源

一维情形，两个「卷积」的定义：

$$\text{互相关：}Y[i]=\sum _{u=0}^{k-1}X[i\cdot s+u-p]\cdot W[u]\text{真卷积：}Y[i]=\sum _{u=0}^{k-1}X[i\cdot s+u-p]\cdot W[k-1-u]$$

差别只有一个：核要不要翻转 $180°$。PyTorch nn.Conv2d、TensorFlow、cuDNN 用的都是互相关（翻转对可学习的核是冗余操作，学出来的权重自然适配）；而 Goodfellow《Deep Learning》教材、经典信号处理文献用的是真卷积。同一个公式在两套约定下长得不一样，是网上 CNN 反向传播推导互相矛盾的唯一根源。

本文约定表（后文所有公式都基于互相关约定）：

两条约定数学上完全等价（把对方的核 rot180 即可互换），§3.3 末尾给出了这一点的机械证明。读任何推导前先问一句：他的卷积翻转吗？

1.2 前向公式与输出尺寸

batch 形式（$N$ 样本、$C$ 输入通道、$F$ 输出通道、核 $k_H\times k_W$、stride $s$、padding $p$）：

$$Y[n,f,i,j]=b[f]+\sum _{c=1}^C\sum _{u=0}^{k_H-1}\sum _{v=0}^{k_W-1}X[n,c,i\cdot s+u-p,j\cdot s+v-p]\cdot W[f,c,u,v]$$

输出尺寸（向下取整；不可整除时余数 $r=(H+2p-k_H)\mathrm{mod}s$，记住它，§3.3 和 §6 都要用）：

$$H_o=\lfloor \frac{H+2p-k_H}{s}\rfloor +1$$

记上游梯度 $G=\partial \mathcal{L}/\partial Y$（形状与 $Y$ 相同）。反向传播要产出三样东西：$dX$（形状同 $X$，回传给前层）、$dW$（形状同 $W$）、$db$（形状同 $b$）。

1.3 线性算子视角：conv 就是稀疏矩阵乘

把一维例子写成就知道了。$X=(x_0,\dots ,x_4)$ 长 5，$W=(w_0,w_1,w_2)$ 长 3，$p=1$，$s=1$，输出长 5。前向 $Y=Mx$，其中

$$M=\left(\begin{array}{ccccc}0& w_1& w_2& 0& 0\\ w_0& w_1& w_2& 0& 0\\ 0& w_0& w_1& w_2& 0\\ 0& 0& w_0& w_1& w_2\\ 0& 0& 0& w_0& w_1\end{array}\right)$$

——一条带状 Toeplitz 矩阵（每条对角线上的元素相同）。三个立刻到手的事实：

1. conv = 稀疏矩阵乘：非零元只有 $5\times 3=15$ 个，密度 $15/25=60\%$；核再大些（$k=7$、$H=64$）密度降到 $\approx 11\%$。所谓「局部连接 + 权重共享」在矩阵语言里就是「同一组 $w$ 在对角线上反复出现」；
2. BP = 矩阵转置：$dX=M^{\top }G$——这就是「转置卷积」这个名字的来历。$M^{\top }$ 对应的核正是 $W$ 的 $180°$ 翻转（§3.3 会把这个对应关系算实）；
3. 若 $X$ 是循环补零（circular padding），$M$ 变成循环矩阵，可被 FFT 对角化——这是 FFT 卷积的全部理论（§8）。

用 numpy 验证过：$Mx$ 与直接卷积逐元素一致（最大相对误差 $2.1\times 10^{-15}$），$M^{\top }G$ 与直接索引累加完全相等（误差 0）。

1.4 im2col 视角：把 conv 变成一次 GEMM

把每个感受野窗口拉成一列，$X_{\text{col}}[n]\in {\mathbb{R}}^{C{k}_H{k}_W\times H_o{W}_o}$，核摊平 $W_{\text{mat}}\in {\mathbb{R}}^{F\times C{k}_H{k}_W}$，前向就是一次矩阵乘：

$$Y[n]=W_{\text{mat}}{X}_{\text{col}}[n]+b$$

这就是 im2col（Chellapilla, Puri & Simard, 2006）：卷积 → GEMM，直接吃 cuBLAS 的高度优化。代价是显存：重叠窗口被复制 $k_H{k}_W$ 倍，$X_{\text{col}}$ 比 $X$ 大 $C{k}_H{k}_W/C$ 倍（$3\times 3$、$C=64$ 时是 9 倍）。现代框架用 implicit GEMM（在 GEMM 内部按索引取数，不落地拷贝）绕开这个开销，但数学恒等不变——§3.5 的反向传播公式在 im2col 视图下是三行矩阵运算，这是手写实现最不容易错的形态。

2 · 反向传播总纲：每个算子只需交出 VJP

统御全篇的观点：前向是算子 $f$，反向就是它的转置（伴随算子）$\bar{f}$——给定上游梯度 $G$，产出对各输入的梯度。自动微分里这叫 VJP（vector-Jacobian product），loss.backward() 干的就是给计算图每个节点挂上 VJP。