Daily Archive: 2020-12-25

Searching for Activation Functions (2017/10) 1. 概述   文章的主要贡献有： 使用基于强化学习的自动搜索方法，得到了一系列全新的激活函数。 针对其中性能最优的 Swish 函数 $f(x) = x \cdot \mathrm{sigmoid}(\beta x)$ 进行了重点分析和实验，发现仅将网络中的 ReLU 替换为 Swish…
Read more