Tag Archive: LReLU

[Reading] Rectifer Nonlinearities Improve Neural Network Acoustic Models

1. 概述   Rectifer Nonlinearities Improve Neural Network Acoustic Models 一文发表于 2013 年,文章分析了深度神经网络中 tanh、ReLU、Leaky Relu 等不同激活函数在语音识别任务上的性能,通过研究隐藏层的输出来定量分析 ReLU 和 tanh 的差异,指出 ReLU 可以产生更稀疏和弥散的特征,有助于提高监督学习…
Read more