Monthly Archive: 八月 2020

[Reading] Squeeze-and-Excitation Networks

1. 概述   Squeeze-and-Excitation Networks 提交于 2017/9,文章利用卷积神经网络中通道之间的依赖关系,提出了名为 Squeeze-and-Excitation(SE) 的 block 结构,在引入只少量额外计算的条件下,大幅提高了网络的性能。文章构建了 SENet 的网络架构,ImageNet top-5 错误率仅为 2.251,在 ILSVRC 2017…
Read more

[Reading] MnasNet: Platform-Aware Neural Architecture Search for Mobile

1. 概述   MnasNet: Platform-Aware Neural Architecture Search for Mobile 一文初次提交于 2018/7,文章提出了一种移动端神经架构搜索(mobile neural architecture search,MNAS)的方法,同时将模型的准确率和在真实设备上的延迟作为搜索的目标,以获得二者之间的平衡。文章还提出了一种分层搜索空间(fa…
Read more

[Reading] Learning Transferable Architectures for Scalable Image Recognition

1. 概述   Learning Transferable Architectures for Scalable Image Recognition 一文提交于 2017 年,文章给出一种在数据集上学习网络架构的方法,设计了易于迁移的 NASNet 搜索空间,首先在较小的数据集上通过搜索找到基础的层结构,再扩展到大数据集的问题上。文章在 CIFAR-10 数据集上找到了高效的卷积层结构,并用其构造…
Read more

[Reading] Neural Architecture Search with Reinforcement Learning

1. 概述   Neural Architecture Search with Reinforcement Learning 一文提交于 2016 年,文章给出了一种自动化搜索神经网络架构的方法,称为神经网络架构搜索(Neural Architecture Search,NAS)。这种方法使用循环神经网络(RNN)来生成神经网络模型的方法,这个 RNN 通过强化学习的方式训练,来最大化生成模型在验…
Read more

[Reading] Searching for Activation Functions

1. 概述   Searching for Activation Functions 一文提交于 2017 年,文章通过基于强化学习的搜索方法,搜索了一系列激活函数,其中性能最优的函数为 $f(x) = x \cdot sigmoid(\beta x)$,称为 Swish 函数。文章测试了 Swish 函数的性能,发现仅将 ReLU 替换为 Swish 就可以在多个任务中获得性能提升。 2. 激活…
Read more

[Reading] Rectifer Nonlinearities Improve Neural Network Acoustic Models

1. 概述   Rectifer Nonlinearities Improve Neural Network Acoustic Models 一文发表于 2013 年,文章分析了深度神经网络中 tanh、ReLU、Leaky Relu 等不同激活函数在语音识别任务上的性能,通过研究隐藏层的输出来定量分析 ReLU 和 tanh 的差异,指出 ReLU 可以产生更稀疏和弥散的特征,有助于提高监督学习…
Read more

[Reading] Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning

1. 概述   Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning 一文提交于 2016 年,文章将 Inception 架构和 ResNet 中的残差连接结合起来,提出了 Inception-ResNet 系列新的网络架构,大幅加快了 Inception 网络的训练速度。同时文章还对 …
Read more

[Reading] Rethinking the Inception Architecture for Computer Vision

1. 概述   Rethinking the Inception Architecture for Computer Vision 一文提交于 2015 年,文章指出,虽然增加网络尺寸和计算量可以有效提高性能,但在移动端等计算能力受限的场景下,保持计算量和参数数量也很重要。文章通过使用分解卷积和激进的正则化,确保增加网络规模时引入的额外计算量可以得到有效使用,并提出了 Inception-v2 和…
Read more