[Reading] Searching for Activation Functions
Searching for Activation Functions (2017/10) 1. 概述 文章的主要贡献有： 使用基于强化学习的自动搜索方法，得到了一系列全新的激活函数。 针对其中性能最优的 Swish 函数 $f(x) = x \cdot \mathrm{sigmoid}(\beta x)$ 进行了重点分析和实验，发现仅将网络中的 ReLU 替换为 Swish…
Read more
[Reading] Squeeze-and-Excitation Networks
Squeeze-and-Excitation Networks (2017/9) 1. 概述 文章的主要贡献有： 利用卷积神经网络中通道之间的依赖关系，提出了名为 Squeeze-and-Excitation（SE) 的 block 结构，通过对通道级特征进行动态地校正，来提高网络的表现能力。在只引入少量额外计算的条件下，大幅提高了网络的性能。 使用 SE block 构建…
Read more
[Reading] Learning Transferable Architectures for Scalable Image Recognition
Learning Transferable Architectures for Scalable Image Recognition (2017/7) 1. 概述 文章的主要贡献有： 提出了一种直接在感兴趣的数据集上学习网络架构的方法，学到的架构可以灵活地缩放至不同的计算和参数量，来适应不同场景的需要，同时还具有超过人工设计模型的性能。 设计了易于迁移的 NASNet 搜索…
Read more
[Reading] ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices
ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices (2017/7) 1. 概述 文章使用 pointwise 分组卷积（group convolution）来降低卷积的计算量，并使用 channel shuffle 来保证模型的表达能力，构建了一种非常高效的 …
Read more
[Reading] MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications
MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications (2017/4) 1. 概述 文章的主要贡献有： 提出了基于深度可分离卷积（depthwise separable convolution）的一类轻量级神经网络，称为 MobbileNets，适合移动端和嵌入式…
Read more
[Reading] Aggregated Residual Transformations for Deep Neural Networks
Aggregated Residual Transformations for Deep Neural Networks (2016/11) 1. 概述 文章的主要贡献有： 通过对一组具有相同拓扑的变换进行聚合，构造了一种简单高效的 block 结构。其中引入了“势”（cardinality）这一新的维度，即变换的数量，作为宽度和深度之外的另一个维度。 验证了即便在严格的复…
Read more
[Reading] Neural Architecture Search with Reinforcement Learning
Neural Architecture Search with Reinforcement Learning (2016/11) 1. 概述 文章的主要贡献有： 提出了一种自动化搜索神经网络架构的方法，称为神经网络架构搜索（Neural Architecture Search，NAS）。这种方法使用循环神经网络（RNN）生成可变长度网络描述，以此来构建神经网络模型。其中的 …
Read more
[Reading] Xception: Deep Learning with Depthwise Separable Convolutions
Xception: Deep Learning with Depthwise Separable Convolutions (2016/10) 1. 概述 文章的主要贡献有： 指出通过控制对 $1 \times 1$ 卷积输出的分段数量，可以得到一系列结构，标准卷积和深度可分离卷积是分别位于两个极端。 通过将 Inception 模块替换为深度可分离卷积，文章给出了 Xce…
Read more
[Reading] Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning
Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning (2016/2) 1. 概述 文章的主要贡献有： 在 Inception-v3 基础上，使用更统一的方式来设计不同尺寸的 block，以此构成 Inception-v4 的网络架构。 通过结合 Inception…
Read more
[Reading] Deep Residual Learning for Image Recognition
Deep Residual Learning for Image Recognition (2015/12) 1. 概述 文章的主要贡献有： 分析了过深的网络性能反而变差的原因，提出了通过残差学习（residual learning）来解决劣化的方法，使得训练更深的网络变得更加容易。相比于直接学习目标映射，学习目标映射与输入的残差更容易进行优化。 提出了用于残差学习的基础结…
Read more