损失函数在标量和矩阵上的求导对比

损失函数在标量和矩阵上的求导对比

在从标量到矩阵时多了两件事：① 同一份参数被多个样本共享、② 同一个输入通向多个输出。这两件事都会带来"求和"，而标量版因为只有一个样本、一个输出，根本看不到求和。下面把两张表放一起，再逐个拆给你看。

第一部分 标量 → 矩阵：核心概念

1. 先说重点：两张表，别混在一起

$x$ 只是"局部导数"，$dW=X^{\top }dZ$ 是"损失梯度"，两者不是一个层面。 之前把这两列并排放，容易让人以为 $dW$ 直接等于 $x$，其实不是。要严格对应，得分两张表看：

1.1 表 1：局部导数（只问"output 对 input 的斜率"，还没乘上游梯度 $dz$）

	标量（1 样本 × 1 输出）	矩阵（N 样本 × 多输出）
前向	$y=wx+b$	$Z=XW+b$，$X:(N,d_{in}),W:(d_{in},d_{out})$
对权重	$\frac{\partial y}{\partial w}=x$	$\frac{\partial Z}{\partial W}=X$
对偏置	$\frac{\partial y}{\partial b}=1$	$\frac{\partial Z}{\partial b}=1$
对输入	$\frac{\partial y}{\partial x}=w$	$\frac{\partial Z}{\partial X}=W$

这层你之前的理解完全正确：对权重的局部偏导"就是输入 $x$"。标量是单个数字 $x$，矩阵版就是整块输入 $X$——这才是真正互相对应的两列。

1.2 表 2：损失梯度（链式法则把 $L$ 一路连到参数，已经乘了上游梯度 $dz$）

	标量（N 样本共用一个 $w$）	矩阵（N 样本 × 多输出）
对权重	$\frac{\partial L}{\partial w}={\sum }_{n}d{z}_n\cdot x_n$	$dW=X^{\top }dZ$
对偏置	$\frac{\partial L}{\partial b}={\sum }_{n}d{z}_n$	$db=\sum _{n=1}^{N}d{Z}_{n,:}$
对输入	$\frac{\partial L}{\partial x_n}=d{z}_n\cdot w$	$dX=dZ{W}^{\top }$

$dW=X^{\top }dZ$ 的真正对应物是 $\partial L/\partial w={\sum }_{n}d{z}_n{x}_n$，不是 $\partial y/\partial w=x$。 后者只是"一段斜率"，前者是"整串链式法则"。所以 $dW$ 里那个 $dz$ 不是凭空多出来的——它是把损失一路链到 $W$ 时，前面那段已经传回来的梯度，带着它一起乘才叫"损失偏导"。

再次强调：下面两处为什么多出"求和"，是因为表 2 才涉及"多个样本共享参数"。

2. 为什么多出"求和"？两个来源

2.1 来源①：参数被多个样本共享 → 对样本求和

标量版只有一个样本，$w$ 只被用一次。但批量版里，同一个 $w$ 被 $N$ 个样本共用（每个样本都是 $z_n=w{x}_n+b$）。

偏导 $\partial L/\partial w$ 问的是"$w$ 动一点，$L$ 动多少"，而 $w$ 影响每个样本的 $z_n$，所以要把所有样本的贡献都加起来：

$$\frac{\partial L}{\partial w}=\sum _n\frac{\partial L}{\partial z_n}\frac{\partial z_n}{\partial w}=\sum _{n}d{z}_n\cdot x_n$$

标量版 $x$ 是单个数字，矩阵版 $x_n$ 是 $N$ 个样本拼成的列向量，${\sum }_{n}d{z}_n{x}_n$ 恰好就是两个向量的点积：

$$\underset{\text{样本排成列}}{\underbrace{X^{\top }}}\underset{\text{梯度排成列}}{\underbrace{dZ}}=\sum _n{X}_{n,k}d{Z}_{n,o}$$

这就是 $dW=X^{\top }dZ$。转置的目的：让"样本维 $n$"对齐、做内积消掉——因为 $dw$ 里要对 $n$ 求和。

偏置同理：$b$ 也被所有样本共享，且 $\partial z_n/\partial b=1$，所以 $d{b}_o={\sum }_{n}d{Z}_{n,o}\cdot 1={\sum }_{n}d{Z}_{n,o}$。这就是那条"${\sum }_{n}d{Z}_{n,:}$"。

2.2 深入看：为什么是 ${\sum }_{n}d{z}_n\cdot x_n$

这条公式值得单独拆开。它其实在说一句话：$w$ 同时影响 $N$ 个样本的输出，一共 $N$ 条"路径"通向 $L$，所以要把 $N$ 条路径的贡献全加起来。

① $w$ 是怎么"分叉"的：批量版每个样本用自己的输入 $x_n$，但共用同一个 $w$：

$$z_1=w{x}_1+b,z_2=w{x}_2+b,\dots ,z_N=w{x}_N+b$$

所以数据流不是单线，而是从 $w$ 分叉成 $N$ 条：

        ┌─> z1 ─> L
        ├─> z2 ─> L
   w ───┼─> z3 ─> L
        ├─> ...
        └─> zN ─> L

$L$ 同时依赖所有 $z_n$（比如 MSE：$L={\sum }_n(z_n-y_n{)}^2$）。于是"$w$ 动一点，$L$ 动多少" = 每条路径都贡献一份，总共 $N$ 份加起来。

② 这就是全导数的标准写法：当一个变量通过多条中间路径影响最终结果时，总导数 = 各路径偏导之和（链式法则的"全"版本）：

$$\frac{\partial L}{\partial w}=\sum _{n=1}^N\frac{\partial L}{\partial z_n}\cdot \frac{\partial z_n}{\partial w}$$

每一项拆开看：

• $\frac{\partial L}{\partial z_n}$：第 $n$ 条路径已流过的那段梯度，记为 $d{z}_n$。它不是"从 $L$ 一步算出"，而是像剥洋葱一样从损失经过后面的层一层层传来的，但在这条公式里它就是一个已知的、由前面反向得到的数。
• $\frac{\partial z_n}{\partial w}$：第 $n$ 条路径的局部斜率。因为 $z_n=w{x}_n+b$，对 $w$ 求导就是 $x_n$（$b$ 对 $w$ 是常数）。

③ 拿 2 个样本走一遍：设 $x_1=1,x_2=3$，$w=2,b=0$，目标 $y_1=3,y_2=7$，损失 $L=(z_1-y_1{)}^2+(z_2-y_2{)}^2$。

前向：

$$z_1=2\times 1+0=2,z_2=2\times 3+0=6,L=(2-3{)}^2+(6-7{)}^2=2$$

先算每个样本自己的梯度 $d{z}_n$：

$$d{z}_1=2(z_1-y_1)=2(2-3)=-2,d{z}_2=2(z_2-y_2)=2(6-7)=-2$$

再把两条路径用链式法则合起来：

路径	$d{z}_n$	$\partial z_n/\partial w=x_n$	该路径贡献
$w\to z_1\to L$	$-2$	$1$	$-2\times 1=-2$
$w\to z_2\to L$	$-2$	$3$	$-2\times 3=-6$

$$\frac{\partial L}{\partial w}=(-2)+(-6)=-8$$

④ 直接对 $L$ 求导来验证：$L=(w-3{)}^2+(3w-7{)}^2$（代入 $x_1=1,x_2=3$），

$$\frac{\partial L}{\partial w}=2(w-3)+2(3w-7)\cdot 3$$

在 $w=2$ 处：$2(-1)+6(-1)=-8$。两条路算出同一个 $-8$，说明"求和 $N$ 条路径"是对的。

⑤ 一个容易踩的坑：别把 $d{z}_n$ 当成"每个样本独立的损失"。$d{z}_n$ 是 $\partial L/\partial z_n$，这里的 $L$ 是整批的损失。正因为 $L$ 包含了所有样本，$w$ 的梯度才会收集到每一份；如果只对单个样本求导（没有那个 ${\sum }_n$），就丢掉了一半信息——那正是标量版和批量版的差别。

一句话：这条公式 = 链式法则的多路径求和版。${\sum }_n$ 数的是"$w$ 到 $L$ 有几条路"——因为参数被 $N$ 个样本共享，就有 $N$ 条路，每条路的贡献 = 该样本的梯度 $d{z}_n$ × 该样本的局部斜率 $x_n$。

2.3 来源②：一个输入通向多个输出 → 对输出求和

标量版 $x$ 只喂给一个输出 $y$。但矩阵版里，输入 $X_{n,k}$ 同时参与该样本的每个输出 $Z_{n,1},Z_{n,2},...$（因为 $Z_{n,o}={\sum }_k{X}_{n,k}{W}_{k,o}+b_o$）。

所以对输入求偏导时，要把每个输出方向的贡献都收回来：

$$\frac{\partial L}{\partial X_{n,k}}=\sum _o\frac{\partial L}{\partial Z_{n,o}}\frac{\partial Z_{n,o}}{\partial X_{n,k}}=\sum _{o}d{Z}_{n,o}{W}_{k,o}$$

右边就是 $(dZ{W}^{\top }{)}_{n,k}$——对输出维 $o$ 求和。标量版的 $w$ 是单个数字，矩阵版变成沿 $W$ 的"一列"展开再求和，所以 $W$ 要转置让 $o$ 对齐做内积。

3. 常见疑问

3.1 疑问一：$db$ 在标量里不是 1 吗？向量里怎么变成求和了？

你记住的"$=1$"没错，但那是局部导数；$db$ 是损失梯度，两者不是一回事。

• 局部导数：$\partial Z/\partial b=1$。矩阵版里每个输出对自己的偏置，斜率都是 1——确实"是一组 1"。
• 损失梯度：$d{b}_o={\sum }_{n}d{Z}_{n,o}\cdot 1={\sum }_{n}d{Z}_{n,o}$。那个 1 还在，但它被上游梯度 $dZ$ 乘了，还要对所有样本求和（因为 $b$ 被 $N$ 个样本共享）。

用数字看：$dZ=[1,1{]}^{\top }$（2 个样本），

$$db=\sum _{n}d{Z}_{n,:}=1+1=2(\text{不是 }1)$$

那为什么 blog_backprop.md 里 $d{b}_2$ 算出的是 1？因为那个例子里传到 out 的梯度正好是 1（$dout=1$），于是 $d{b}_2=dout\times 1=1\times 1=1$——它是"上游梯度恰好为 1"造成的，不是"$b$ 的导数是 1"。换个损失 $L=(out-y{)}^2$，$dout=2(out-y)$，$d{b}_2$ 就不再是 1 了。

	局部导数（一段）	损失梯度（整串）
标量	$\partial y/\partial b=1$	$\partial L/\partial b=dz\cdot 1=dz$
矩阵	$\partial Z/\partial b=1$	$db={\sum }_{n}d{Z}_{n,:}\cdot 1={\sum }_{n}d{Z}_{n,:}$

一句话："对 $b$ 的偏导是 1"永远成立（局部），但 $db$ 是拿这个 1 去乘上游梯度 $dZ$、再对样本求和。

3.2 疑问二：$db$、$dX$ 是干嘛的？不是主要去 $dW$ 吗？

一个 Linear 层有两个参数（$W$ 和 $b$），不是一个！所以反向时这层要攒两个梯度：

• $dW$：更新本层权重 $W$。
• $db$：更新本层偏置 $b$。
• $dX$：不是参数，是一根"接力棒"，专门把梯度传给上一层（成为上一层的 $dz$）。

看这条链（blog_backprop.md 第 2 节那套）：$L\to out\to a(=\tanh z)\to z\to w_1$。反向时逐层往回走，关键在一层怎么"接上"上一层：

这层反向算的	是给谁用的
$dW,db$	给本层（更新参数）
$dX$	传给上一层（成为上一层的 $dz$）

具体接法：本层的 $dX$ 经过激活的导数（$\times (1-a^2)$）就变成上一层的 $dz$。看 engine.py 里那两行反向：

self.grad += out.grad @ other.data.T     # dX = dZ·Wᵀ  → 传给上一层
other.grad += self.data.T @ out.grad     # dW = Xᵀ·dZ  → 更新本层 W

为什么不能"只做 $dW$"：假设 2 层网络 $X\to [{\text{Linear}}_1\to \tanh ]\to [{\text{Linear}}_2]\to out$。在 ${\text{Linear}}_2$ 算出 $d{X}_2$，它穿过 $\tanh$ 变成 ${\text{Linear}}_1$ 的 $d{Z}_1$；${\text{Linear}}_1$ 再用这个 $d{Z}_1$ 才能算出 $d{W}_1,d{b}_1$。如果只算 $d{W}_2$ 不算 $d{X}_2$，前面一层永远拿不到梯度、学不动。

量	是不是参数	用途
$dW$	是（$W$）	更新本层权重
$db$	是（$b$）	更新本层偏置
$dX$	不是	传给上一层（作为它的 $dz$）

一句话：一层反向 = 给本层攒两个梯度（$dW,db$），再给上一层递一根接力棒（$dX$）。$dW$ 是"这层怎么改"，$dX$ 是"上一层的 $dz$ 从哪来"——两者都要，链式法则才能一路传到底。

3.3 疑问三：反向传播是不是要"先全部前向，再统一反向"？

对，必须先整条前向跑完，再统一反向。 原因：反向的顺序是反过来依赖的——要算最前面一层的梯度，得先有它后面所有层传回来的梯度；而这些后面层的梯度，又要在前向真正跑到 loss 之后才知道。所以不能"边前向边反向"，也不能"前向一层就反向一层"。

• 前向一趟：从左往右，每层算一个值、存下来（顺便织成计算图）。
• 反向一趟：从 loss 出发，按拓扑序倒着走（输出 → 倒数第二层 → … → 第一层），每层调用存好的反向函数。

为啥每层要"存值"：反向算局部导数时要用到前向的值，而这些值只有前向时才便宜：

反向节点	需要的前向值	原因
$\tanh$	$a$	$1-a^2$ 要用 $a$
softmax	$P$	$dS=P\odot (dP-\dots )$ 要用 $P$
矩阵乘 $Z=XW$	$X,W$	$dW=X^{\top }dZ,dX=dZ{W}^{\top }$ 要用 $X,W$

对照 blog_backprop.md 第 9 节的训练循环（顺序严格）：

pred = model(X)          # 1. 前向：一次跑到底，织图 + 存值
loss = mse_loss(pred,y)  # 2. 算损失
opt.zero_grad()          # 3. 清上次梯度
loss.backward()          # 4. 反向：从 loss 倒着遍历
opt.step()               # 5. 更新参数

看第 1 步和第 4 步：前向（1）先整个跑完，loss（2）也算出来，然后才 backward()。backward() 不是"每层前向完就反向"，而是等整条链铺好后一次性从后往前扫。以那个 $out=w_2\tanh (w_{1}x+b_1)+b_2$ 为例，反向顺序是 $out\to m\to a\to z\to n_1$。

一句话：反向传播 = 先把整条前向跑完（存好每层值、织好图），再统一从 loss 往反方向、按拓扑序倒着走一遍。 不能"边前向边反向"，因为前面层的梯度要等后面层先算出来才拿得到。

3.4 疑问四："传给上一层"是什么意思？上一层不是算过了吗？

• 前向：每层算出"值"（data），早就算好存起来了。所以上一层的值确实算过了，你说得对。
• 但反向是另一趟（右→左），算的是"梯度"，而上一层的梯度还没算。

所以"传给上一层"的意思是：把梯度 $dZ$ 递给它，好让它也能算出自己的 $dW,db,dX$——它缺的不是值，是梯度。

用 blog_backprop.md 的数字看一遍（前向值已存好：n1=-0.5, z=0.0, a=0.0, m=0.0, out=0.2）：

反向到	算出	传给谁
out = m+b2	dm=1, db2=1	dm 传给 m
m = w2·a	da=0.8, dw2=0	da=0.8 传给 a（上一层）
a = tanh(z)	用 da=0.8 算 dz=0.8	dz 传给 z
z = n1+b1	用 dz=0.8 算 dn1=0.8, db1=0.8	dn1 传给 n1
n1 = w1·x	用 dn1=0.8 算 dw1=0.4	梯度落在参数上

看第 3 行：a 层的值 a=0.0 早就算好了，但它的反向梯度 dz 必须等 m 把 da=0.8 传过来才能算（要乘 $\tanh$ 的导数 $1-a^2$）。如果在 m 那里只算 dw2、不算 da，后面就断链，最前层的 dw1 永远是 0——前面学不动。

一句话：前向一趟算"值"存好（左→右）；反向一趟从后往前算"梯度"，并把梯度递给前一层（右→左）。 上一层值早有了，但它缺梯度，而它恰好需要你此刻递过去的那份 $dZ$——所以"传给上一层"传的是梯度，不是值。

第二部分 线性层与矩阵乘：把求和写进矩阵乘

4. 把三条公式"展开"看个究竟

矩阵公式	展开成标量	算什么
$dW=X^{\top }dZ$	$(dW{)}_{k,o}={\sum }_n{X}_{n,k}d{Z}_{n,o}$	每个权重 = 所有样本的"输入×梯度"求和（共享→求和）
$db={\sum }_{n}d{Z}_{n,:}$	$d{b}_o={\sum }_{n}d{Z}_{n,o}$	每个偏置 = 所有样本梯度求和（共享→求和）
$dX=dZ{W}^{\top }$	$(dX{)}_{n,k}={\sum }_{o}d{Z}_{n,o}{W}_{k,o}$	每个输入 = 所有输出的"梯度×权重"求和（多输出→求和）

5. 推广到 $O=PV$（加权求和）的 $dP,dV$

前面 $Z=XW$ 的 $dW,dX$ 那套推导，原封不动搬到 $O=PV$ 上即可——只是这里 $P$ 和 $V$ 都不是参数、都要往回传梯度。前向 $O=PV$ 逐元素是：

$$O_{i,j}=\sum _k{P}_{i,k}{V}_{k,j},P:(L,L),V:(L,d_{head}),O:(L,d_{head})$$

5.1 推 $dP$：$P_{i,k}$ 影响第 $i$ 行的所有输出

一个 $P_{i,k}$ 出现在 $O$ 的第 $i$ 行每个元素里（每个 $O_{i,j}$ 都含 $P_{i,k}$，系数是 $V_{k,j}$）。所以要对输出下标 $j$ 求和：

$$\frac{\partial L}{\partial P_{i,k}}=\sum _j\frac{\partial L}{\partial O_{i,j}}\cdot \frac{\partial O_{i,j}}{\partial P_{i,k}}=\sum _{j}d{O}_{i,j}\cdot V_{k,j}$$

右边正是矩阵乘 $(dO{V}^{\top }{)}_{i,k}$——输出维 $j$ 被收缩掉：

$$dP=dO{V}^{\top }$$

5.2 推 $dV$：$V_{k,j}$ 影响第 $j$ 列的所有输出

一个 $V_{k,j}$ 出现在 $O$ 的第 $j$ 列每个元素里（每个 $O_{i,j}$ 都含 $V_{k,j}$，系数是 $P_{i,k}$）。所以要对行下标 $i$ 求和：

$$\frac{\partial L}{\partial V_{k,j}}=\sum _i\frac{\partial L}{\partial O_{i,j}}\cdot \frac{\partial O_{i,j}}{\partial V_{k,j}}=\sum _{i}d{O}_{i,j}\cdot P_{i,k}$$

右边正是矩阵乘 $(P^{\top }dO{)}_{k,j}$——行维 $i$ 被收缩掉：

$$dV=P^{\top }dO$$

5.3 和 $Z=XW$ 的 $dW,dX$ 对照（一模一样）

前向	对左操作数求导	对右操作数求导
$Z=XW$	$dX=dZ{W}^{\top }$	$dW=X^{\top }dZ$
$O=PV$	$dP=dO{V}^{\top }$	$dV=P^{\top }dO$

规律：对哪个操作数求导，就把另一个操作数放到外面做矩阵乘、转置让被收缩的维对齐。$dP$ 用 $V$（$dP=dO{V}^{\top }$）、$dV$ 用 $P$（$dV=P^{\top }dO$）——左对左、右对右，各拿对方。

转置的用意和之前一样：把要"求和（收缩）"的那个维度对齐。$dP$ 想消掉输出维 $j$，所以 $V$ 转置成 $V^{\top }$ 让 $j$ 做内积；$dV$ 想消掉行维 $i$，所以 $P$ 转置成 $P^{\top }$ 让 $i$ 做内积。

5.4 用数字验证

$P=\left[\begin{array}{cc}0.028& 0.972\\ 0.002& 0.998\end{array}\right]$，$V=\left[\begin{array}{cc}0.5& 2\\ 1.5& 4\end{array}\right]$，$dO=\left[\begin{array}{cc}-1.057& 0\\ 0& 0\end{array}\right]$：

$$dP=dO{V}^{\top }=\left[\begin{array}{cc}-1.057& 0\\ 0& 0\end{array}\right]\left[\begin{array}{cc}0.5& 1.5\\ 2& 4\end{array}\right]=\left[\begin{array}{cc}-0.528& -1.585\\ 0& 0\end{array}\right]$$

$$dV=P^{\top }dO=\left[\begin{array}{cc}0.028& 0.002\\ 0.972& 0.998\end{array}\right]\left[\begin{array}{cc}-1.057& 0\\ 0& 0\end{array}\right]=\left[\begin{array}{cc}-0.030& 0\\ -1.027& 0\end{array}\right]$$

正好对上 blog_qkv.md 第 3 节表格里 $dP$、$dV$ 的结果。

一句话：$O=PV$ 的 $dP,dV$ 和 $Z=XW$ 的 $dX,dW$ 是同一套链式法则——每个元素对哪一行/哪一列的输出都有贡献，就沿那个方向求和，求和写成矩阵乘 + 转置。

6. 一句话抓住本质

• $dW$ 和 $db$：参数被大家用 → 把所有人的梯度收回来求和（横向：跨样本）。
• $dX$：一个输入喂好几个输出 → 把这几个输出方向的梯度收回来求和（纵向：跨输出）。
• 而转置不是魔法，它只是"把要消掉（求和）的那个维对齐"，好让矩阵乘能顺带完成求和。标量版没有这些求和，是因为它既没有"多个样本"也没有"多个输出"。

用博客那组数字（$X(2,3),W(3,1),dZ=[1,1{]}^{\top }$）一验就对上：$dW=X^{\top }dZ=[5,7,9{]}^{\top }$、$db=1+1=2$、$dX=dZ{W}^{\top }=[0.5,-1,0.2]$（两行相同）。标量手算和矩阵批量，就是同一套链式法则，只不过矩阵把"求和"写进了矩阵乘里。

---

第三部分 attention 各节点的求导

7. softmax 反向：$dS=P\odot (dP-1(P^{\top }dP))$

为什么不能逐元素：softmax 是按行归一化，$p_j=\frac{e^{s_j}}{{\sum }_k{e}^{s_k}}$。分母是整行求和，所以每个输出 $p_j$ 都依赖同一行所有输入 $s_k$——这就是它和 $\tanh$（$1-a^2$ 逐元素）的根本区别。

先拿一行做，丢掉行下标。对 $s_k$ 求导分两种：

$$\frac{\partial p_j}{\partial s_k}=p_j({\delta }_{jk}-p_k)$$

这里的 ${\delta }_{jk}$ 就是 Kronecker delta（克罗内克函数）——一个"两个下标相不相等"的开关：

$${\delta }_{jk}=\{\begin{array}{ll}1,& j=k\\ 0,& j\ne k\end{array}$$

把它按 $j$（行）、$k$（列）排开就是单位矩阵：

$$\delta =\left[\begin{array}{cc}{\delta }_{11}& {\delta }_{12}\\ {\delta }_{21}& {\delta }_{22}\end{array}\right]=\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]$$

主对角线（$j=k$）全是 1，其它位置（$j\ne k$）全是 0。在求导里它负责"只保留 $j=k$ 那一项，其余一律清零"。所以在 softmax 导数里：

情况	${\delta }_{jk}$	$\partial p_j/\partial s_k$
$j=k$（动自己）	$1$	$p_j(1-p_j)$
$j\ne k$（动别人）	$0$	$-p_j{p}_k$

一句话：${\delta }_{jk}$ 就是"等不等于"的记号，相等给 1、不等给 0，本质就是单位矩阵($I$)——它负责在求和里挑出"自己匹配自己"那一项。

7.1 局部导数 $\frac{\partial p_j}{\partial s_k}$ 是怎么来的

这个局部导数本身也要用商法则推，关键是分子里的指数是不是 $s_k$。写 $p_j=\frac{e^{s_j}}{D}$，$D={\sum }_m{e}^{s_m}$（分母是整行和）。

对 $s_k$ 求导，分母 $D$ 一定含 $e^{s_k}$，但分子 $e^{s_j}$ 只有当 $j=k$ 时才含 $s_k$。所以分两种情况：

情况一：$j=k$（对"自己"的指数求导）——分子分母都依赖 $s_k$，用完整商法则 ${\left(\frac{u}{v}\right)}^{\prime }=\frac{u^{\prime }v-u{v}^{\prime }}{v^2}$，且 $\partial D/\partial s_j=e^{s_j}$：

$$\frac{\partial p_j}{\partial s_j}=\frac{e^{s_j}D-e^{s_j}\cdot e^{s_j}}{D^2}=\frac{e^{s_j}}{D}-\frac{e^{s_j}{e}^{s_j}}{D^2}=p_j-p_j^2=p_j(1-p_j)$$

情况二：$j\ne k$（对"别人"的指数求导）——分子 $e^{s_j}$ 与 $s_k$ 无关（当常数，导数为 0），只有分母影响：

$$\frac{\partial p_j}{\partial s_k}=\frac{0\cdot D-e^{s_j}\cdot e^{s_k}}{D^2}=-\frac{e^{s_j}{e}^{s_k}}{D^2}=-p_j{p}_k$$

合并成一个式子：看 ${\delta }_{jk}$ 的开关作用，两种情况恰好能统一：

$$p_j({\delta }_{jk}-p_k)=\{\begin{array}{ll}{p}_j(1-p_j),& j=k\\ p_j(0-p_k)=-p_j{p}_k,& j\ne k\end{array}$$

所以 $\frac{\partial p_j}{\partial s_k}=p_j({\delta }_{jk}-p_k)$。

用数字验证（第 1 行，$p_1=0.028,p_2=0.972$）：

$$j=k:\frac{\partial p_1}{\partial s_1}=p_1(1-p_1)=0.028\times 0.972=0.0272,j\ne k:\frac{\partial p_2}{\partial s_1}=-p_2{p}_1=-0.972\times 0.028=-0.0272$$

直觉：$s_k$ 变大时分母 $D$ 一定变大（$e^{s_k}$ 变大），每个 $p_j$ 都会被等比压低。若是自己（$j=k$）分子也涨得更凶，净效果是涨 $p_j(1-p_j)$；若是别人，只有分母涨、无补偿，净效果是跌 $-p_j{p}_k$。${\delta }_{jk}$ 就是"这次动的是不是我自己"的开关。

反向：把这行所有输出对 $s_k$ 的贡献加起来：

$$d{s}_k=\sum _{j}d{P}_j\frac{\partial p_j}{\partial s_k}=\sum _{j}d{P}_j{p}_j({\delta }_{jk}-p_k)=p_{k}d{P}_k-p_k\sum _{j}d{P}_j{p}_j$$

7.2 逐步拆解：三个等号分别干嘛

上面这三个等号把三件事压在一行里，容易卡在第三个。逐个拆开：

第 ① 步：为什么开头要 ${\sum }_j$

$s_k$ 不只影响 $p_k$ 自己，它同时影响这一行的每一个 $p_j$（因为分母 ${\sum }_k{e}^{s_k}$ 是整行共享的）。所以"$s_k$ 动一点，损失动多少"要把每一路 $p_j$ 的贡献都收回来——链式法则的"多路径求和"：

$$d{s}_k=\sum _j\underset{\text{第 }j\text{ 路的梯度}}{\underbrace{d{P}_j}}\times \underset{\text{第 }j\text{ 路的局部斜率}}{\underbrace{\frac{\partial p_j}{\partial s_k}}}$$

第 ② 步：把局部导数代入

$\frac{\partial p_j}{\partial s_k}=p_j({\delta }_{jk}-p_k)$，代入得 ${\sum }_{j}d{P}_j{p}_j({\delta }_{jk}-p_k)$。

第 ③ 步：把 ${\sum }_j$ 拆成两半（最容易卡在这）

因为 $({\delta }_{jk}-p_k)$ 是两项相减，可以把求和拆开：

$$\sum _{j}d{P}_j{p}_j({\delta }_{jk}-p_k)=\underset{\text{A}}{\underbrace{\sum _{j}d{P}_j{p}_j{\delta }_{jk}}}-\underset{\text{B}}{\underbrace{\sum _{j}d{P}_j{p}_j{p}_k}}$$

• 看 A：${\delta }_{jk}$ 是个"开关"，只有 $j=k$ 时等于 1，其余全是 0。所以在 ${\sum }_j$ 里除了 $j=k$ 那一项，其它全消失：${\sum }_{j}d{P}_j{p}_j{\delta }_{jk}=d{P}_k{p}_k\cdot 1=p_{k}d{P}_k$。
• 看 B：$p_k$ 不随 $j$ 变，是常数，可以提出来：${\sum }_{j}d{P}_j{p}_j{p}_k=p_k{\sum }_{j}d{P}_j{p}_j$。

合起来：$p_{k}d{P}_k-p_k{\sum }_{j}d{P}_j{p}_j$。

7.3 慢算一遍验证（第 1 行，k=1）

$s=[1.77,5.30]$，$P=[0.028,0.972]$，$dP=[-0.528,-1.585]$。

先算两个局部导数（$j=1$、$j=2$ 分别对 $s_1$）：

$$\frac{\partial p_1}{\partial s_1}=p_1(1-p_1)=0.028\times 0.972=0.0272,\frac{\partial p_2}{\partial s_1}=p_2(0-p_1)=0.972\times (-0.028)=-0.0272$$

按 ① 求和：

$$d{s}_1=d{P}_1\frac{\partial p_1}{\partial s_1}+d{P}_2\frac{\partial p_2}{\partial s_1}=(-0.528)(0.0272)+(-1.585)(-0.0272)=-0.01436+0.04311\approx 0.029$$

按 ③ 的快捷式核对（先算行总账 ${\sum }_{j}d{P}_j{p}_j=0.028(-0.528)+0.972(-1.585)\approx -1.555$）：

$$d{s}_1=p_{1}d{P}_1-p_1\sum _{j}d{P}_j{p}_j=0.028(-0.528)-0.028(-1.555)\approx 0.029$$

两条路都得到 $\approx 0.029$ ✓

记忆点：${\sum }_j$ 不是多余，是 $s_k$ 影响了整行 $p_j$，得把整行梯度都收回来；${\delta }_{jk}$ 就是个开关，只在 $j=k$ 时让 $d{P}_k{p}_k$ 留下，其余全关掉；而 $-p_k$ 那项跟 $j$ 无关，直接提出来乘以整行总账。

写成整行（再恢复行下标）就是上面的公式：

$$dS=P\odot \underset{\text{每行：}d{P}_k-{\sum }_j{P}_{j}d{P}_j}{\underbrace{(dP-1(P^{\top }dP))}}$$

两部分的含义：

• $P\odot dP$：增大 $s_k$ 会直接抬高 $p_k$（自项）；
• $-P\odot 1(P^{\top }dP)$：增大 $s_k$ 会撑大分母、压扁同行的其它 $p_j$（竞争项）。$P^{\top }dP$ 一次性算整行的"总梯度"，$1$ 广播回这行每个位置，再按各自 $P$ 摊回去。

一句直觉：softmax 的输出互相竞争（加起来=1），推高一个必然挤低别的；反向时既要算"自己涨跌"，还要结清"挤了谁"。

验证：$P=[0.028,0.972]$，$dP=[-0.528,-1.585]$，$P^{\top }dP=0.028(-0.528)+0.972(-1.585)\approx -1.555$，于是

$$dP-1(P^{\top }dP)=[-0.528+1.555,-1.585+1.555]=[1.027,-0.030]$$

$$dS=P\odot [1.027,-0.030]=[0.029,-0.029]✓$$

---

8. 缩放内积 $S=Q{K}^{\top }/\sqrt{d}$ 的 $dQ,dK$

这其实就是 $O=PV$ 那套矩阵乘，只是右边多了转置和缩放。分两步：先把缩放提出来，再算 $Q{K}^{\top }$。

原式 $S=\frac{Q{K}^{\top }}{\sqrt{d}}$。设 $M=Q{K}^{\top }$（不打分原始矩阵），则 $S=M/\sqrt{d}$。由链式法则：

$$dM=\frac{\partial L}{\partial M}=\frac{dS}{\sqrt{d}}$$

缩放是常数倍，只把梯度缩小 $\sqrt{d}$ 倍传进矩阵乘节点，不影响结构。后面就把 $dM$ 当作矩阵乘 $M=Q{K}^{\top }$ 的上游梯度。

8.1 $M=Q{K}^{\top }$ 逐元素

$$M_{ij}=\sum _k{Q}_{ik}{K}_{jk}Q:(L,d),K:(L,d),M:(L,L)$$

8.2 推 $dQ=dMK$

$Q_{ik}$ 出现在 $M$ 的第 $i$ 行所有元素里（系数是 $K_{jk}$），所以对 $j$ 求和：

$$\frac{\partial L}{\partial Q_{ik}}=\sum _{j}d{M}_{ij}\frac{\partial M_{ij}}{\partial Q_{ik}}=\sum _{j}d{M}_{ij}{K}_{jk}$$

右边就是 $(dMK{)}_{ik}$。代回 $dM=dS/\sqrt{d}$：

$$\boxed{dQ=(dS/\sqrt{d})K}$$

8.3 推 $dK=(dS/\sqrt{d}{)}^{\top }Q$

$K_{jk}$ 出现在 $M$ 的第 $j$ 列所有元素里（系数是 $Q_{ik}$），所以对 $i$ 求和：

$$\frac{\partial L}{\partial K_{jk}}=\sum _{i}d{M}_{ij}\frac{\partial M_{ij}}{\partial K_{jk}}=\sum _{i}d{M}_{ij}{Q}_{ik}$$

右边就是 $(d{M}^{\top }Q{)}_{jk}$。代回：

$$\boxed{dK=(dS/\sqrt{d}{)}^{\top }Q}$$

规律和 $O=PV$ 一致：对哪个操作数求导，就用另一个做矩阵乘、转置对齐要收缩的维。$dQ$ 用 $K$、$dK$ 用 $Q$，各拿对方。

8.4 用第 2 节数字验证

$dS=\left[\begin{array}{cc}0.029& -0.029\\ 0& 0\end{array}\right]$，$\sqrt{d}=\sqrt{2}$，故 $dM=dS/\sqrt{2}=\left[\begin{array}{cc}0.0205& -0.0205\\ 0& 0\end{array}\right]$。

$Q=\left[\begin{array}{cc}2.5& 0\\ 5.5& -1\end{array}\right]$，$K=\left[\begin{array}{cc}1& 2\\ 3& 4\end{array}\right]$：

$$dQ=dMK=\left[\begin{array}{cc}0.0205& -0.0205\\ 0& 0\end{array}\right]\left[\begin{array}{cc}1& 2\\ 3& 4\end{array}\right]=\left[\begin{array}{cc}-0.041& -0.041\\ 0& 0\end{array}\right]✓$$

$$dK=d{M}^{\top }Q=\left[\begin{array}{cc}0.0205& 0\\ -0.0205& 0\end{array}\right]\left[\begin{array}{cc}2.5& 0\\ 5.5& -1\end{array}\right]=\left[\begin{array}{cc}0.051& 0\\ -0.051& 0\end{array}\right]✓$$

正好对上博客第 3 节表格。

---

9. 串起来看

attention 这一整段的反向，就是这几个"查表公式"按拓扑序倒着走：

dO → [加权求和 O=PV] → dP, dV
                        ↓
    [softmax] → dS = P⊙(dP−1(PᵀdP))
                        ↓
    [QKᵀ/√d] → dQ = (dS/√d)K，dK = (dS/√d)ᵀQ

每个节点都只干"沿哪个维求和，就转置对齐哪个维"这一件事，没有魔法。

---

10. softmax 前向 vs 反向（整行耦合）

核心一句话：前向里每个 $P_j$ 依赖整行的所有 $s$；反向里每个 $d{S}_k$ 也依赖整行的所有 $dP$。 两者都是"整行耦合"，因为分母是整行求和。

10.1 一张表：前向 vs 反向

	前向 $S\to P$	反向 $dP\to dS$
公式	$P_j=\frac{e^{s_j}}{{\sum }_k{e}^{s_k}}$	$d{S}_k=P_k(d{P}_k-{\sum }_j{P}_{j}d{P}_j)$
每个输出依赖	整行所有 $s_1,s_2,\dots$（分母是整行和）	整行所有 $d{P}_1,d{P}_2,\dots$（行总梯度包含它们）
是"逐元素"吗	不是	不是
为什么	$e^{s_j}$ 的分子 + ${\sum }_k{e}^{s_k}$ 的分母同时含多个 $s$	每个 $P_j$ 都含 $s_k$，所以都往 $d{S}_k$ 回传

前向"每个输出要看全行"，反向就"每个梯度也要收全行"——这是同一件事（共享分母）的两副面孔。

10.2 用数字走一遍（第 1 行）

前向：输入 $s=[1.77,5.30]$。

步骤	值
指数	$e^{1.77}=5.87,e^{5.30}=200.3$
分母（整行和）	$5.87+200.3=206.2$
输出	$P_1=\frac{5.87}{206.2}\approx 0.028,P_2=\frac{200.3}{206.2}\approx 0.972$

注意：$P_1$ 不仅取决于 $s_1$，也取决于 $s_2$——因为分母里有 $e^{s_2}$。这就是"整行耦合"。

反向：上游梯度 $dP=[-0.528,-1.585]$。

步骤	值
行总梯度 ${\sum }_j{P}_{j}d{P}_j$	$0.028(-0.528)+0.972(-1.585)\approx -1.555$
$d{S}_1$	$P_1(d{P}_1-\text{总梯度})=0.028(-0.528+1.555)\approx 0.029$
$d{S}_2$	$P_2(d{P}_2-\text{总梯度})=0.972(-1.585+1.555)\approx -0.029$

结果 $dS=[+0.029,-0.029]$。

注意：$d{S}_1$ 不仅来自 $d{P}_1$，也来自 $d{P}_2$——因为"行总梯度"把 $d{P}_2$ 也收了进来。这正是反向里"整行耦合"的体现。

10.3 为什么反向是 $P_k(d{P}_k-{\sum }_j{P}_{j}d{P}_j)$ 这个形状

拆成两项看：

$$d{S}_k=\underset{\text{自项}}{\underbrace{P_{k}d{P}_k}}-\underset{\text{竞争项}}{\underbrace{P_k\sum _j{P}_{j}d{P}_j}}$$

• 自项 $P_{k}d{P}_k$：$s_k$ 变大 → $P_k$ 自己变大（来自 $\partial P_k/\partial s_k=P_k(1-P_k)$ 里那部分 $P_k(1)$）。
• 竞争项 $-P_k{\sum }_j{P}_{j}d{P}_j$：$s_k$ 变大 → 分母变大 → 同行的其它 $P_j$ 都被压低，要把这些被挤掉的梯度收回来。${\sum }_j{P}_{j}d{P}_j$ 是"整行所有输出被挤压的总账"，$1$ 广播回每个位置，再乘 $P_k$ 按比例摊。

10.4 和前向对照的对称美感

	前向	反向
动作	“先指数、再按行归一化”（一个 $P_j$ 吃进全行 $s$）	“先算行总账、再按 $P$ 摊回去”（一个 $d{S}_k$ 收进全行 $dP$）
共同点	分母是整行和 → 整行耦合	行总梯度是整行和 → 整行耦合

一句话：softmax 前向把"一个输入"摊到整行输出；反向就把"整行梯度"收回成一个输入。 因为它按行归一化，所以前向、反向都是"整行一起算"，永远不可能像 $\tanh$ 那样逐元素。