Daily Archive: 2018-01-03

　　批量标准化（Batch Normalization）是深度学习中的一个重要算法，它可以让网络更加强健，令网络对更大范围的参数都有较好的效果，使得超参数的搜索更加容易，也有助于训练更深的网络。 1. 标准化激活值 　　前文介绍了对输入特征进行标准化的方法，标准化有助于提高学习速度。在神经网络中，对其中各层的激活值进行标准化，也有利于提高下一层参数的学习速度，这就是批量标准化所做的。例如对第 2 …
Read more