[ML Notes] Logistic 回归
1. 基本模型 Logistic 回归的基本形式为 $$ f(\boldsymbol{x}) = g(\boldsymbol{w}^\mathrm{T} \boldsymbol{x}) = \frac{1}{1 + e^{-\boldsymbol{w}^\mathrm{T} \boldsymbol{x}}} \tag{1} $$ 其中 $\boldsymbol{w}$ 为参…
Read more
Deep Learning Note: 1-4 向量化
1. 逻辑回归的向量化 前文给出了逻辑归回的模型和通过梯度下降优化逻辑回归代价函数的算法。算法描述中包含了很多循环的步骤。在具体实现中，通过向量化(Vectorization)移除显式的 for 循环，有利于充分利用硬件性能，提高执行速度。如 Python 的 NumPy 包中有很多内置函数都提供了输入和处理多维数组的能力，在内部实现了并行计算的优化。 将之前得到的梯度下降计算各偏导的过程…
Read more
Deep Learning Note: 1-3 m 个样本上的梯度下降
1. m 个样本上的梯度下降 前文通过计算图得到了对于单个样本的各个参数的偏导，下面扩展到 m 个样本的情况，给出在 m 个样本上进行逻辑回归梯度下降的方法。 回顾一下前面得到的逻辑回归的代价函数为： \begin{equation} J(w, b) = \frac{1}{m} \sum_{i = 1}^m L(a^{(i)}, y{(i)}) \tag{1} \end{equation}…
Read more
Deep Learning Note: 1-2 计算图
1. 计算图 神经网络的训练过程主要包括用于计算网络输出的前向传播（Forward Propagation），和用于计算各参数偏导数的反向传播（Forward Propagation）。通过计算图可以更好地理解这个计算过程。 先看一个简单的例子，对于如下函数： \begin{equation} J(a, b, c) = 3(a + bc) \tag{1} \end{equation} …
Read more
Deep Learning Note: 1-1 逻辑回归和梯度下降
Deep Learning Note 系列是我学习 deepLearning.ai 所开设深度学习课程的笔记，包含关键概念、模型和部分推导，方便随时查阅。假设读者已初步了解机器学习基础知识，并具有相应的数学基础。 0. 符号说明 本文及后续内容使用符号定义如下： 使用 $(x, y)$ 表示单个样本，其中 $x \in \mathbb{R}^{n_x}$，即一个 $n_x$ 维的特征向…
Read more
逻辑回归代价函数的解释
本文整理自 Neural Networks and Deep Learning 的 Explanation of logistic regression cost function 一节，给出了逻辑回归代价函数的解释。 二分类逻辑回归中，记预测值为 $\hat{y}$，真实值为 $y$。预测值 $\hat{y}$ 的计算方式为： \begin{equation} \hat{y} = a(w…
Read more