Deep Learning Note: 1-9 深度神经网络
前面以一个简单的 2 层神经网络为例，介绍了前向传播和反向传播的计算过程。下面扩展到 L 层神经网络的情况。 以图 1 所示的网络为例，记网络的层数为 $L$，此时 $L = 4$。使用 $n^{[l]}$ 表示第 $l$ 层中节点的个数，记输入层为第 0 层，输入有三个特征，故 $n^{[0]} = n_x = 3$；第一个隐藏层有 5 个节点，故 $n^{[1]} = 5$，以此类推，…
Read more
Deep Learning Note: 1-7 反向传播
1. 神经网络中的梯度下降 本文以前面 给出的用于二分类的两层神经网络为例，展示神经网络中梯度下降的计算过程。在该神经网络中： 各层节点数分别为 $n^{[0]}$、$n^{[1]}$、$n^{[2]}$，由于是二分类问题，只有一个输出，故 $n^{[2]} = 1$ 输入为 $n^{[0]} \times m$ 的特征向量矩阵 $X$，其中 $m$ 为样本个数 输出为 $1 \times m…
Read more