27、深度学习：原理与训练算法解读

深度学习：原理与训练算法解读

1. 非二次损失函数的优化算法选择

在机器学习中，大多数损失函数并非二次函数，这使得海森矩阵（Hessian matrix）依赖于参数向量的当前值。针对非二次函数，有两种改进算法的选择：
- 线性共轭梯度法 ：先在某一点创建二次近似，然后在该点固定海森矩阵进行几次迭代求解。
- 非线性共轭梯度法 ：每次迭代都随着参数向量的变化而改变海森矩阵。

非线性共轭梯度法中，由于海森矩阵在每一步都会变化，方向的相互共轭性（即 H - 正交性）会随时间恶化，这会对每一步的整体进展产生不可预测的影响。并且，由于共轭性恶化，共轭方向的计算每隔几步就需要重新开始。如果恶化速度过快，重新开始的频率会很高，共轭性带来的优势就不明显。

而线性共轭梯度法中，每个二次近似都可以精确求解，通常在远少于 d 次迭代内就能（几乎）求解完成。因此，每次迭代都能取得与牛顿法相似的进展。只要二次近似的质量较高，所需的近似次数通常不会太多。从历史角度看，非线性共轭梯度法在传统机器学习中被广泛使用，但近期的研究更提倡使用线性共轭方法，实验结果也表明线性共轭梯度法具有一定优势。

2. 拟牛顿法与 BFGS 算法

BFGS 是 Broyden–Fletcher–Goldfarb–Shanno 算法的缩写，它是牛顿法的一种近似算法。

牛顿法的典型更新公式为：
[
\hat{W}^* \Leftarrow \hat{W}_0 - H^{-1}[\nabla J(\hat{W}_0)]
]

在拟牛顿