Tag Archive: ResNet

[Reading] Deep Residual Learning for Image Recognition

1. 概述   Deep Residual Learning for Image Recognition 一文提交于 2015 年,提出了残差学习(residual learning)的框架,使得训练更深的网络变得更加容易,并提出了名为 ResNet 的网络架构,在识别和检测等任务上达到了当时的 SOTA 性能。   对于深度神经网络来说,层数越多,表现力越丰富,一般来说也越容易在任务上得到更好的…
Read more

Deep Learning Note: 4-5 卷积神经网络案例分析(2)

2. ResNet   由于存在梯度爆炸和梯度消失的问题,往往难以训练很深的神经网络。ResNet 通过将一层的激活值直接传递给更深的层,使得训练非常深(如超过 100 层)的神经网络成为可能。 2.1. Residual Block   ResNet 由 Residual Block 组成,为了说明 Residual Block 的结构,先看一个普通的两层网络结构,如图 1 所示:   其计算过…
Read more