Author Archive: nex3z

[Reading] Searching for Activation Functions

1. 概述   Searching for Activation Functions 一文提交于 2017 年,文章通过基于强化学习的搜索方法,搜索了一系列激活函数,其中性能最优的函数为 $f(x) = x \cdot sigmoid(\beta x)$,称为 Swish 函数。文章测试了 Swish 函数的性能,发现仅将 ReLU 替换为 Swish 就可以在多个任务中获得性能提升。 2. 激活…
Read more

[Reading] Rectifer Nonlinearities Improve Neural Network Acoustic Models

1. 概述   Rectifer Nonlinearities Improve Neural Network Acoustic Models 一文发表于 2013 年,文章分析了深度神经网络中 tanh、ReLU、Leaky Relu 等不同激活函数在语音识别任务上的性能,通过研究隐藏层的输出来定量分析 ReLU 和 tanh 的差异,指出 ReLU 可以产生更稀疏和弥散的特征,有助于提高监督学习…
Read more

[Reading] Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning

1. 概述   Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning 一文提交于 2016 年,文章将 Inception 架构和 ResNet 中的残差连接结合起来,提出了 Inception-ResNet 系列新的网络架构,大幅加快了 Inception 网络的训练速度。同时文章还对 …
Read more

[Reading] Rethinking the Inception Architecture for Computer Vision

1. 概述   Rethinking the Inception Architecture for Computer Vision 一文提交于 2015 年,文章指出,虽然增加网络尺寸和计算量可以有效提高性能,但在移动端等计算能力受限的场景下,保持计算量和参数数量也很重要。文章通过使用分解卷积和激进的正则化,确保增加网络规模时引入的额外计算量可以得到有效使用,并提出了 Inception-v2 和…
Read more

[Reading] Very Deep Convolutional Networks For Large-Scale Image Recognition

1. 概述   Very Deep Convolutional Networks For Large-Scale Image Recognition 一文提交于 2014 年,文章验证了通过增加卷积网络深度,可以显著提升其在图像识别任务上的准确率。文章提出了一种构建深度网络的基本规则,并据此构建了 VGG 系列网络。 2. 构建思路 2.1. 基本思路   文章给出了一种构建网络的基本规则:主要使…
Read more

[Reading] Going Deeper with Convolutions

1. 概述   Going Deeper with Convolutions 一文发表于 2014 年,文章提出了名为 Inception 的高效的深度卷积神经网络架构,在增加网络深度和宽度的同时控制计算量,在当时的图像识别和检测任务上达到了 SOTA 性能。   传统的卷积神经网络通常使用若干个卷积层后跟若干个全连接层的结构,通过增加深度和宽度可以获得更大的网络,通常也能获得更好的性能,但这样做…
Read more

[Reading] Deep Residual Learning for Image Recognition

1. 概述   Deep Residual Learning for Image Recognition 一文提交于 2015 年,提出了残差学习(residual learning)的框架,使得训练更深的网络变得更加容易,并提出了名为 ResNet 的网络架构,在识别和检测等任务上达到了当时的 SOTA 性能。   对于深度神经网络来说,层数越多,表现力越丰富,一般来说也越容易在任务上得到更好的…
Read more

[Reading] Searching for MobileNetV3

1. 概述   Searching for MobileNetV3 一文公布于 2019 年,提出了称为 MobileNetV3 的新一代 MobileNets,进一步提高了准确率,并降低了计算量。   MobileNetV3 在前代 MobileNets 的基础上,在基本构造模块中引入了 Squeeze-and-Excite(SE)。文章通过网络搜索得到了网络的基本结构,并进行了进一步微调。针对…
Read more