[Reading] Network In Network

1. 概述   Network In Network 一文提交于 2013/12,文章通过在卷积核中加入一个微型的神经网络来对感受野内的数据进行抽象,构造了一种能够增强模型对感受野内局部图块区分能力的结构,称为 Network In Network(NIN)。   卷积神经网络中的过滤器本质上是一个广义线性模型(generalized linear model,GLM),因此传统的卷积层隐式地假设…
Read more

[Reading] Spatial Transformer Networks

1. 概述   Spatial Transformer Networks 一文提交于 2015/6,文章提出了一种对特征图进行空间变换的模块,称为 Spatial Transformer(ST)。该模块可以通过学习,对不同的特征图进行适当的变换,增强卷积神经网络对输入数据的空间不变性,从而提高网络性能。   文章指出,虽然 CNN 在图像识别上获得了很好的性能,但依然无法有效地维持输入数据的空间不…
Read more

[Reading] Squeeze-and-Excitation Networks

1. 概述   Squeeze-and-Excitation Networks 提交于 2017/9,文章利用卷积神经网络中通道之间的依赖关系,提出了名为 Squeeze-and-Excitation(SE) 的 block 结构,在引入只少量额外计算的条件下,大幅提高了网络的性能。文章构建了 SENet 的网络架构,ImageNet top-5 错误率仅为 2.251,在 ILSVRC 2017…
Read more

[Reading] MnasNet: Platform-Aware Neural Architecture Search for Mobile

1. 概述   MnasNet: Platform-Aware Neural Architecture Search for Mobile 一文初次提交于 2018/7,文章提出了一种移动端神经架构搜索(mobile neural architecture search,MNAS)的方法,同时将模型的准确率和在真实设备上的延迟作为搜索的目标,以获得二者之间的平衡。文章还提出了一种分层搜索空间(fa…
Read more

[Reading] Learning Transferable Architectures for Scalable Image Recognition

1. 概述   Learning Transferable Architectures for Scalable Image Recognition 一文提交于 2017 年,文章给出一种在数据集上学习网络架构的方法,设计了易于迁移的 NASNet 搜索空间,首先在较小的数据集上通过搜索找到基础的层结构,再扩展到大数据集的问题上。文章在 CIFAR-10 数据集上找到了高效的卷积层结构,并用其构造…
Read more

[Reading] Neural Architecture Search with Reinforcement Learning

1. 概述   Neural Architecture Search with Reinforcement Learning 一文提交于 2016 年,文章给出了一种自动化搜索神经网络架构的方法,称为神经网络架构搜索(Neural Architecture Search,NAS)。这种方法使用循环神经网络(RNN)来生成神经网络模型的方法,这个 RNN 通过强化学习的方式训练,来最大化生成模型在验…
Read more