[Reading] Searching for Activation Functions

Searching for Activation Functions (2017/10) 1. 概述   文章的主要贡献有: 使用基于强化学习的自动搜索方法,得到了一系列全新的激活函数。 针对其中性能最优的 Swish 函数 $f(x) = x \cdot \mathrm{sigmoid}(\beta x)$ 进行了重点分析和实验,发现仅将网络中的 ReLU 替换为 Swish…
Read more

[Reading] Squeeze-and-Excitation Networks

Squeeze-and-Excitation Networks (2017/9) 1. 概述   文章的主要贡献有: 利用卷积神经网络中通道之间的依赖关系,提出了名为 Squeeze-and-Excitation(SE) 的 block 结构,通过对通道级特征进行动态地校正,来提高网络的表现能力。在只引入少量额外计算的条件下,大幅提高了网络的性能。 使用 SE block 构建…
Read more

[Reading] Learning Transferable Architectures for Scalable Image Recognition

Learning Transferable Architectures for Scalable Image Recognition (2017/7) 1. 概述   文章的主要贡献有: 提出了一种直接在感兴趣的数据集上学习网络架构的方法,学到的架构可以灵活地缩放至不同的计算和参数量,来适应不同场景的需要,同时还具有超过人工设计模型的性能。 设计了易于迁移的 NASNet 搜索…
Read more

[Reading] Aggregated Residual Transformations for Deep Neural Networks

Aggregated Residual Transformations for Deep Neural Networks (2016/11) 1. 概述   文章的主要贡献有: 通过对一组具有相同拓扑的变换进行聚合,构造了一种简单高效的 block 结构。其中引入了“势”(cardinality)这一新的维度,即变换的数量,作为宽度和深度之外的另一个维度。 验证了即便在严格的复…
Read more

[Reading] Deep Residual Learning for Image Recognition

Deep Residual Learning for Image Recognition (2015/12) 1. 概述   文章的主要贡献有: 分析了过深的网络性能反而变差的原因,提出了通过残差学习(residual learning)来解决劣化的方法,使得训练更深的网络变得更加容易。相比于直接学习目标映射,学习目标映射与输入的残差更容易进行优化。 提出了用于残差学习的基础结…
Read more