learn, build, evaluate
Deep Residual Learning for Image Recognition (2015/12) 1. 概述 文章的主要贡献有： 分析了过深的网络性能反而变差的原因，提出了通过残差学习（residual learning）来解决劣化的方法，使得训练更深的网络变得更加容易。相比于直接学习目标映射，学习目标映射与输入的残差更容易进行优化。 提出了用于残差学习的基础结…
Read more
Rethinking the Inception Architecture for Computer Vision (2015/12) 1. 概述 文章的主要贡献有： 给出了一系列网络设计原则来更有效地增大卷积网络，指出虽然增加网络尺寸和计算量可以有效提高性能，但在移动端等计算能力受限的场景下，保持计算量和参数数量也很重要。 以 Inception 模块为基础，通过使用分解…
Read more
Spatial Transformer Networks (2015/6) 1. 概述 文章的主要贡献有： 提出了一种对特征图进行空间变换的模块，称为 Spatial Transformer（ST）。该模块可以通过学习，对不同的特征图进行适当的变换，增强卷积神经网络对输入数据的空间不变性，从而提高网络性能。其主要特点有： ST 作为一个独立的模块，可以很容易地插入到已有的网…
Read more
Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift (2015/2) 1. 概述 文章提出了一种通过对网络各层输入的每个小批量（mini-batch）进行规范化，来解决内部协变量偏移（internal covariate shift）的方法，…
Read more
Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification (2015/2) 1. 概述 文章的主要贡献有： 提出了一种带参数的 ReLU，称为 Parametric Rectified Linear Unit（PReLU），其参数可以在训练过程中学习…
Read more
Going Deeper with Convolutions (2014/9) 1. 概述 文章的主要贡献有： 提出的 Inception 模块通过组合多种卷积和池化，增加网络深度和宽度，同时通过 $1 \times 1$ 卷积进行压缩来减少计算，在大幅提高性能的同时控制计算量。 通过堆叠 Inception 模块得到的 Inception 网络（GoogLeNet）在当时…
Read more
Very Deep Convolutional Networks for Large-Scale Image Recognition (2014/9) 1. 概述 文章的主要贡献有： 验证了通过增加卷积网络深度，可以显著提升其在图像识别任务上的准确率。文章评估了一系列具有不同数量 $3 \times 3$ 卷积层的网络，发现具有 16~19 层的网络具有最佳性能。 提出了一…
Read more
Network In Network (2013/12) 1. 概述 文章的主要贡献有： 提出了 mlpconv 层结构，使用多层感知机来对感受野内的数据进行抽象，提升过滤器对局部图块的建模能力。这种结构相当于 $1 \times 1$ 卷积，在后来得到了广泛应用。 在进行分类时使用全局平均池化替换全连接层，起到了正则化的效果，避免了过拟合，同时建立起特征图和分类置信度间的…
Read more
Rectifier Nonlinearities Improve Neural Network Acoustic Models (2013) 1. 概述 文章分析了深度神经网络中 tanh、ReLU、Leaky Relu 等不同激活函数在语音识别任务上的性能，通过研究隐藏层的输出来定量分析 ReLU 和 tanh 的差异，指出 ReLU 可以让隐藏层产生更稀疏和弥散的特征，…
Read more
ImageNet Classification with Deep Convolutional Neural Networks (2012) 1. 概述 文章的主要贡献有： 提出了一种用于图像识别任务的深度卷积神经网络（CNN），称为 AlexNet，在 ILSVRC-2012 比赛中以 15.3% 的 top-5 错误率夺得第一名，大幅优于第二名的 26.2%。展示了使用…
Read more