learn, build, evaluate
MobileNetV2: Inverted Residuals and Linear Bottlenecks (2018/1) 1. 概述 文章的主要贡献有： 提出了一种新的移动端网络架构，称为 MobileNetV2，提高了移动端模型在多个任务上的 SOTA 性能。 对于移动端的目标检测任务，文章提出了称为 SSDLite 的全新框架。对于语义分割任务，展示了通过 Dee…
Read more
Searching for Activation Functions (2017/10) 1. 概述 文章的主要贡献有： 使用基于强化学习的自动搜索方法，得到了一系列全新的激活函数。 针对其中性能最优的 Swish 函数 $f(x) = x \cdot \mathrm{sigmoid}(\beta x)$ 进行了重点分析和实验，发现仅将网络中的 ReLU 替换为 Swish…
Read more
Squeeze-and-Excitation Networks (2017/9) 1. 概述 文章的主要贡献有： 利用卷积神经网络中通道之间的依赖关系，提出了名为 Squeeze-and-Excitation（SE) 的 block 结构，通过对通道级特征进行动态地校正，来提高网络的表现能力。在只引入少量额外计算的条件下，大幅提高了网络的性能。 使用 SE block 构建…
Read more
Learning Transferable Architectures for Scalable Image Recognition (2017/7) 1. 概述 文章的主要贡献有： 提出了一种直接在感兴趣的数据集上学习网络架构的方法，学到的架构可以灵活地缩放至不同的计算和参数量，来适应不同场景的需要，同时还具有超过人工设计模型的性能。 设计了易于迁移的 NASNet 搜索…
Read more
ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices (2017/7) 1. 概述 文章使用 pointwise 分组卷积（group convolution）来降低卷积的计算量，并使用 channel shuffle 来保证模型的表达能力，构建了一种非常高效的 …
Read more
MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications (2017/4) 1. 概述 文章的主要贡献有： 提出了基于深度可分离卷积（depthwise separable convolution）的一类轻量级神经网络，称为 MobbileNets，适合移动端和嵌入式…
Read more
Aggregated Residual Transformations for Deep Neural Networks (2016/11) 1. 概述 文章的主要贡献有： 通过对一组具有相同拓扑的变换进行聚合，构造了一种简单高效的 block 结构。其中引入了“势”（cardinality）这一新的维度，即变换的数量，作为宽度和深度之外的另一个维度。 验证了即便在严格的复…
Read more
Neural Architecture Search with Reinforcement Learning (2016/11) 1. 概述 文章的主要贡献有： 提出了一种自动化搜索神经网络架构的方法，称为神经网络架构搜索（Neural Architecture Search，NAS）。这种方法使用循环神经网络（RNN）生成可变长度网络描述，以此来构建神经网络模型。其中的 …
Read more
Xception: Deep Learning with Depthwise Separable Convolutions (2016/10) 1. 概述 文章的主要贡献有： 指出通过控制对 $1 \times 1$ 卷积输出的分段数量，可以得到一系列结构，标准卷积和深度可分离卷积是分别位于两个极端。 通过将 Inception 模块替换为深度可分离卷积，文章给出了 Xce…
Read more
Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning (2016/2) 1. 概述 文章的主要贡献有： 在 Inception-v3 基础上，使用更统一的方式来设计不同尺寸的 block，以此构成 Inception-v4 的网络架构。 通过结合 Inception…
Read more