Deep Learning Note: 1-7 反向传播
1. 神经网络中的梯度下降 本文以前面 给出的用于二分类的两层神经网络为例，展示神经网络中梯度下降的计算过程。在该神经网络中： 各层节点数分别为 $n^{[0]}$、$n^{[1]}$、$n^{[2]}$，由于是二分类问题，只有一个输出，故 $n^{[2]} = 1$ 输入为 $n^{[0]} \times m$ 的特征向量矩阵 $X$，其中 $m$ 为样本个数 输出为 $1 \times m…
Read more
Deep Learning Note: 1-4 向量化
1. 逻辑回归的向量化 前文给出了逻辑归回的模型和通过梯度下降优化逻辑回归代价函数的算法。算法描述中包含了很多循环的步骤。在具体实现中，通过向量化(Vectorization)移除显式的 for 循环，有利于充分利用硬件性能，提高执行速度。如 Python 的 NumPy 包中有很多内置函数都提供了输入和处理多维数组的能力，在内部实现了并行计算的优化。 将之前得到的梯度下降计算各偏导的过程…
Read more