learn, build, evaluate
Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift (2015/2) 1. 概述 文章提出了一种通过对网络各层输入的每个小批量（mini-batch）进行规范化，来解决内部协变量偏移（internal covariate shift）的方法，…
Read more
Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification (2015/2) 1. 概述 文章的主要贡献有： 提出了一种带参数的 ReLU，称为 Parametric Rectified Linear Unit（PReLU），其参数可以在训练过程中学习…
Read more
Going Deeper with Convolutions (2014/9) 1. 概述 文章的主要贡献有： 提出的 Inception 模块通过组合多种卷积和池化，增加网络深度和宽度，同时通过 $1 \times 1$ 卷积进行压缩来减少计算，在大幅提高性能的同时控制计算量。 通过堆叠 Inception 模块得到的 Inception 网络（GoogLeNet）在当时…
Read more
Very Deep Convolutional Networks for Large-Scale Image Recognition (2014/9) 1. 概述 文章的主要贡献有： 验证了通过增加卷积网络深度，可以显著提升其在图像识别任务上的准确率。文章评估了一系列具有不同数量 $3 \times 3$ 卷积层的网络，发现具有 16~19 层的网络具有最佳性能。 提出了一…
Read more
Network In Network (2013/12) 1. 概述 文章的主要贡献有： 提出了 mlpconv 层结构，使用多层感知机来对感受野内的数据进行抽象，提升过滤器对局部图块的建模能力。这种结构相当于 $1 \times 1$ 卷积，在后来得到了广泛应用。 在进行分类时使用全局平均池化替换全连接层，起到了正则化的效果，避免了过拟合，同时建立起特征图和分类置信度间的…
Read more
Rectifier Nonlinearities Improve Neural Network Acoustic Models (2013) 1. 概述 文章分析了深度神经网络中 tanh、ReLU、Leaky Relu 等不同激活函数在语音识别任务上的性能，通过研究隐藏层的输出来定量分析 ReLU 和 tanh 的差异，指出 ReLU 可以让隐藏层产生更稀疏和弥散的特征，…
Read more