28、深度学习加速与压缩实用技巧

深度学习加速与压缩实用技巧

1. 批量归一化中的偏导数计算

在深度学习中，批量归一化（Batch Normalization）是一个重要的技术，在计算损失函数关于均值和方差的偏导数时，有如下的计算过程。

损失函数关于方差的偏导数计算如下：
[
\frac{\partial L}{\partial \sigma_{i}^{2}}=\sum_{q = 1}^{m}\frac{\partial L}{\partial \hat{v} {i}^{(q)}}\cdot\frac{\partial \hat{v} {i}^{(q)}}{\partial \sigma_{i}^{2}} \text{（链式法则）}=-\frac{1}{2\sigma_{i}^{3}}\sum_{q = 1}^{m}\frac{\partial L}{\partial \hat{v} {i}^{(q)}}(v {i}^{(q)} - \mu_{i}) \text{（使用方程 4.25）}=-\frac{1}{2\sigma_{i}^{3}}\sum_{q = 1}^{m}\frac{\partial L}{\partial a_{i}^{(q)}}\gamma_{i}\cdot(v_{i}^{(q)} - \mu_{i})
]

损失函数关于均值的偏导数计算如下：
[
\begin{align }
\frac{\partial L}{\partial \mu_{i}}&=\sum_{q = 1}^{m}\frac{\partial L}{\partial \hat{v} {i}^{(q