[Reading] Rectifier Nonlinearities Improve Neural Network Acoustic Models
Rectifier Nonlinearities Improve Neural Network Acoustic Models (2013) 1. 概述 文章分析了深度神经网络中 tanh、ReLU、Leaky Relu 等不同激活函数在语音识别任务上的性能，通过研究隐藏层的输出来定量分析 ReLU 和 tanh 的差异，指出 ReLU 可以让隐藏层产生更稀疏和弥散的特征，…
Read more