[ML Notes] 线性回归：梯度下降
对如前文所述的线性模型 $f(\boldsymbol{x})$ 和代价函数 $J(\boldsymbol{w})$ $$ f(\boldsymbol{x}) = \boldsymbol{w}^\mathrm{T} \boldsymbol{x} \tag{1} $$ $$ J(\boldsymbol{w}) = \frac{1}{2} \sum_{i=1}^m \big( y…
Read more
Deep Learning Note: 1-4 向量化
1. 逻辑回归的向量化 前文给出了逻辑归回的模型和通过梯度下降优化逻辑回归代价函数的算法。算法描述中包含了很多循环的步骤。在具体实现中，通过向量化(Vectorization)移除显式的 for 循环，有利于充分利用硬件性能，提高执行速度。如 Python 的 NumPy 包中有很多内置函数都提供了输入和处理多维数组的能力，在内部实现了并行计算的优化。 将之前得到的梯度下降计算各偏导的过程…
Read more
Deep Learning Note: 1-3 m 个样本上的梯度下降
1. m 个样本上的梯度下降 前文通过计算图得到了对于单个样本的各个参数的偏导，下面扩展到 m 个样本的情况，给出在 m 个样本上进行逻辑回归梯度下降的方法。 回顾一下前面得到的逻辑回归的代价函数为： \begin{equation} J(w, b) = \frac{1}{m} \sum_{i = 1}^m L(a^{(i)}, y{(i)}) \tag{1} \end{equation}…
Read more