ELU激活函数

- 融合了sigmoid和ReLU,左侧具有软饱和性,右侧无饱和性。
- 右侧线性部分使得ELU能够缓解梯度消失,而左侧软饱能够让ELU对输入变化或噪声更鲁棒。
- ELU的输出均值接近于零,所以收敛速度更快。
- 在 ImageNet上,不加 Batch Normalization 30 层以上的 ReLU 网络会无法收敛,PReLU网络在MSRA的Fan-in (caffe )初始化下会发散,而 ELU 网络在Fan-in/Fan-out下都能收敛。
本文介绍了ELU激活函数的特点及优势:它结合了sigmoid和ReLU的优点,在右侧保持线性以缓解梯度消失,在左侧具备软饱和性以提高对输入变化或噪声的鲁棒性;ELU使网络输出均值接近零,有助于加快收敛速度;实验表明,ELU网络在不同初始化策略下均能稳定收敛。

718

被折叠的 条评论
为什么被折叠?
