Monthly Archive: 12月 2020

[Reading] Searching for Activation Functions

Searching for Activation Functions (2017/10) 1. 概述   文章的主要贡献有: 使用基于强化学习的自动搜索方法,得到了一系列全新的激活函数。 针对其中性能最优的 Swish 函数 $f(x) = x \cdot \mathrm{sigmoid}(\beta x)$ 进行了重点分析和实验,发现仅将网络中的 ReLU 替换为 Swish…
Read more

[Reading] Squeeze-and-Excitation Networks

Squeeze-and-Excitation Networks (2017/9) 1. 概述   文章的主要贡献有: 利用卷积神经网络中通道之间的依赖关系,提出了名为 Squeeze-and-Excitation(SE) 的 block 结构,通过对通道级特征进行动态地校正,来提高网络的表现能力。在只引入少量额外计算的条件下,大幅提高了网络的性能。 使用 SE block 构建…
Read more

[Reading] Learning Transferable Architectures for Scalable Image Recognition

Learning Transferable Architectures for Scalable Image Recognition (2017/7) 1. 概述   文章的主要贡献有: 提出了一种直接在感兴趣的数据集上学习网络架构的方法,学到的架构可以灵活地缩放至不同的计算和参数量,来适应不同场景的需要,同时还具有超过人工设计模型的性能。 设计了易于迁移的 NASNet 搜索…
Read more