本文介绍了CS231n课程中的视觉识别优化部分，重点讲解了多类SVM损失函数及其梯度计算过程。通过对损失函数的定义及求导推导，帮助读者理解如何通过梯度下降等方法来优化神经网络。
CS231n Convolutional Neural Networks for Visual Recognition —— optimization
1. 多类 SVM 的损失函数（Multiclass SVM loss）
在给出类别预测前的输出结果是实数值， 也即根据 score function 得到的 score（s=f(xi,W)
），
Li=∑j≠yimax(0,sj−syi+Δ),Δ=1（一般情况下）
- yi
在真实类别上的得分；
sj,j≠yi
wTj 表示 W 的每一行，共 c
- 在其他非真实类别上的得分，也即预测错误时的得分；
则在全体训练样本上的平均损失为：
L=1N∑i=1NLi
delta = 1
scores = np.dot(W, X)
correct_scores = scores[y, np.arange(num_samples)]
diff = score - correct_scores + delta
diff[y, np.arange(num_samples)] = 0
thresh = np.maximum(0, diff)
loss = np.sum(thresh)
loss /= num_samples- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
2. 优化（optimization）：梯度计算
首先来看损失函数的定义，如下为第 i
个样本的损失值（ Wc×d⋅Xd×N， d 特征向量的维度， c：输出类别的个数）：
Li==∑j≠yimax(0,sj−syi+1)∑j≠yi[max(0,wTjxi−wTyixi+1)]
- 遍历 j
wTj 表示 W 的每一行，共 c
- 行；
下面的额关键是如何求得损失函数关于参数 wj,wyi
的梯度：
∇wyiLi=−(∑j≠yi1(wTjxi−wTyixi+Δ>0))xi∇wjLi=1(wTjxi−wTyixi+Δ>0)xij≠yi
binary = thresh
binary[thresh > 0] = 1 # 实现 indicator 函数
col_sum = np.sum(binary, axis=0)
binary[y, np.arange(num_samples)] = -col_sum
dW = np.dot(binary, X.T) # binary 维度信息：c*N, X 维度信息：d*N
dW /= N
dW += reg * W
扫一扫
4640
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
