【Word2Vec原理】CBOW 示例：从上下文预测目标词（一步一步看懂）

用一个最小可计算的例子，把 CBOW（Continuous Bag of Words）的前向计算、softmax、损失与反向传播的直觉一次讲清楚。

一、问题设定

​ 我们用一个极小的例子来理解 CBOW 的核心思想：根据上下文词 ["the", "sat"]，预测中心词 "cat"。

• 示例句子（窗口大小 = 1）：

  the cat sat
  

  • 目标词（Target）：cat
  • 上下文词（Context）：[the, sat]

• 词表（Vocabulary）：

  ["the", "cat", "sat"]
  

  • 词表大小$|V|=3$

  • 后面的所有 one-hot 向量、嵌入矩阵和输出概率，都会基于这个词表展开。

二、计算过程

2.1 Step1: 上下文词的独热（One-Hot）表示

​ 按照词表顺序 [the, cat, sat]：

​ 上下文是 [the, sat]，因此我们得到两个 one-hot 向量。

• ${\mathbf{v}}_{\text{the}}=[1,0,0]$
• ${\mathbf{v}}_{\text{sat}}=[0,0,1]$

2.2 Step2: 上下文向量求平均（CBOW 的核心）

​ CBOW 不关心顺序，只关心**“袋子里的词”**。

(1) 求和

$$
\begin{aligned}
\mathbf{v}{\text{[the, sat]}} &= \mathbf{v}{\text{the}} + \mathbf{v}_{\text{sat}} \
&= [1, 0, 0] + [0, 0, 1] \
&= [1,0,1]

\end{aligned}
$$

(2) 取平均（2 个上下文词）

$$\mathbf{v}=\frac{1}{2}{\mathbf{v}}_{\text{[the, sat]}}=[\frac{1}{2},0,\frac{1}{2}]$$

​ 这个向量表示：当前上下文中，the 和 sat 各占一半。

2.3 Step3: 嵌入矩阵（Embedding Matrix）

​ 设嵌入维度为$d=2$，随机初始化嵌入矩阵 ${\mathbf{W}}_{\text{in}}\in {\mathbb{R}}^{|V|\times d}$：
$${\mathbf{W}}_{\text{in}}=\left[\begin{array}{cc}0.1& 0.2\\ 0.0& 0.5\\ 0.3& 0.8\end{array}\right]$$

每一行对应一个词的 embedding向量。

2.4 Step4: 计算上下文嵌入向量

​ 用 平均后的 one-hot 向量 乘以嵌入矩阵：
$$\begin{array}{rl}\mathbf{h}& ={\mathbf{W}}_{\text{in}}^T\mathbf{v}\\ & =\left[\begin{array}{ccc}0.1& 0.0& 0.3\\ 0.2& 0.5& 0.8\end{array}\right]\left[\begin{array}{c}0.5\\ 0\\ 0.5\end{array}\right]\\ & =\left[\begin{array}{c}0.2\\ 0.5\end{array}\right]\end{array}$$

这一步本质上是：把上下文词的 embedding 做平均。

2.5 Step5: 输出权重矩阵

​ 输出矩阵 ${\mathbf{W}}_{\text{out}}\in {\mathbb{R}}^{d\times |V|}$（随机初始化）：
$${\mathbf{W}}_{\text{out}}=\left[\begin{array}{ccc}0.2& 0.1& 0.3\\ 0.4& 0.6& 0.5\end{array}\right]$$

2.6 Step 6：计算每个词的打分（Logits）

$$\begin{array}{rl}{\mathbf{W}}_{\text{out}}^T\mathbf{h}& =\left[\begin{array}{cc}0.2& 0.4\\ 0.1& 0.6\\ 0.3& 0.5\end{array}\right]\left[\begin{array}{c}0.2\\ 0.5\end{array}\right]\\ & =\left[\begin{array}{c}0.24\\ 0.32\\ 0.31\end{array}\right]\end{array}$$

2.7 Step 7：Softmax 转换为概率

(1) 指数计算

$$\begin{gathered} \text{exp}(0.24)=1.271 \\ \text{exp}(0.32)=1.377 \\ \text{exp}(0.31)=1.363 \end{gathered}$$

(2) 求和

$$1.271+1.377+1.363=4.011$$

(3) Softmax概率计算

​ 模型当前最看好的是 cat，但信心还不够高。

2.8 Step8: 损失函数（交叉熵）

​ 在得到预测概率之后，CBOW 通过交叉熵损失来衡量当前预测的好坏。

(1) 损失计算

​ 目标词是 cat，其预测概率为 0.343：
$$\mathcal{L}=-\log (P(\text{cat}|\text{[the,sat]}))=-\log (0.343)\approx 1.07$$
​ 这个损失并不仅仅是一个数字，它同时也是一个信号，告诉模型：“这次预测哪里做得不够好，下一次该往哪个方向调整。”

(2) 损失的直觉

• 如果$P(\text{cat}|\text{[the, sat]})=1$ → $\mathcal{L}=0$完美预测）
• 如果$P(\text{cat}|\text{[the, sat]})=0$ → $\mathcal{L}\to \infty$（极差）
• 当前是 中等置信度 → 中等损失

2.9 Step9: 反向传播

​ 为了改进模型，本轮训练将根据损失函数对参数进行更新，使模型在相同上下文下 提高对目标词 "cat" 的预测概率，同时降低其他词的预测概率。

(1) Softmax输出层的梯度

• 在 CBOW 中，输出层首先计算每个词的打分（logits）：

$$\mathbf{z}={\mathbf{W}}_{\text{out}}^T\mathbf{h}$$

​ 其中，$\mathbf{h}$为上下文embedding向量，${\mathbf{W}}_{\text{out}}^T$为输出权重矩阵，$z_i$表示词表中第$i$个词的得分。

​ 经过softmax后，得到预测概率$p_i$，因为目标词采用onehot表示，我们记为$y_i$。

• 对于 softmax + 交叉熵损失，其对 logits 的梯度为：

$$\frac{\partial \mathcal{L}}{\partial z_i}=p_i-y_i$$

​ 这里：$p_i$是模型对第$i$个词的预测概率，$y_i$是真实标签（目标词对应位置为 1，其余为 0）

​ 该公式直接反映了预测与真实标签之间的偏差。

• 计算每个词的梯度

  Word	$p_i$	$y_i$	Gradient: $p_i-y_i$
  the	0.317	0	0.317
  cat	0.343	1	-0.657
  sat	0.340	0	0.340

(2) 梯度的含义

• 对 cat：梯度为 负 ，下次应该提高它的得分

• 对 the / sat：梯度为 正 ，下次应该降低它们的得分

  可以将该梯度理解为：预测偏大的词被压低，预测偏小的词被拉高。

(3) 更新权重

​ 该梯度首先用于更新输出权重矩阵${\mathbf{W}}_{\text{out}}$，随后继续向前传播至上下文向量$\mathbf{h}$，并最终更新输入嵌入矩阵中上下文词（the、sat）对应的词向量。

​ 目标词 "cat" 的输入嵌入在本轮 CBOW 更新中不会被更新，因为它并未参与上下文向量的构造。

三、总结

​ 通过这个完整的 CBOW 示例，我们从一次最小的训练过程出发，串联起了模型学习语义的全过程。

​ 在前向传播阶段，CBOW 将上下文词映射为词向量，并对其取平均，形成一个上下文语义表示；随后通过输出层和 softmax，计算每个词作为中心词的预测概率。

​ 在反向传播阶段，交叉熵损失刻画了模型预测与真实目标词之间的偏差。这一偏差通过梯度的形式传回模型参数，使目标词的得分被提升，非目标词的得分被抑制。

​ 需要注意的是，在 CBOW 中，真正被直接更新的是上下文词的词向量以及输出层的权重，而不是目标词本身的输入词向量。这意味着模型并不是孤立地“记住某个词”，而是在不断调整：哪些上下文组合，应该更容易指向哪个中心词。

​ 当这样的更新在大规模语料上反复进行时，具有相似上下文的词，其词向量会在嵌入空间中逐渐靠近；语义不同的词，则会自然分离。 这正是词向量能够捕捉语义相似性与语义结构的根本原因。