Tag Archive: Swish

[Reading] Searching for Activation Functions

1. 概述   Searching for Activation Functions 一文提交于 2017 年,文章通过基于强化学习的搜索方法,搜索了一系列激活函数,其中性能最优的函数为 $f(x) = x \cdot sigmoid(\beta x)$,称为 Swish 函数。文章测试了 Swish 函数的性能,发现仅将 ReLU 替换为 Swish 就可以在多个任务中获得性能提升。 2. 激活…
Read more