[ML Notes] 线性回归：梯度下降
对如前文所述的线性模型 $f(\boldsymbol{x})$ 和代价函数 $J(\boldsymbol{w})$ $$ f(\boldsymbol{x}) = \boldsymbol{w}^\mathrm{T} \boldsymbol{x} \tag{1} $$ $$ J(\boldsymbol{w}) = \frac{1}{2} \sum_{i=1}^m \big( y…
Read more
[ML Notes] 线性回归：正交投影
考虑前文所述的线性模型 $$ \boldsymbol{f}(X) = X \boldsymbol{w} \tag{1} $$ 理想的 $\boldsymbol{w}$ 应使得 $X \boldsymbol{w} = \boldsymbol{y}$，但这样的解并不一定存在。此时最好的选择是寻找一个 $\boldsymbol{w}$，使得 $X \boldsymbol{w}$ …
Read more
[ML Notes] 线性回归：最大似然
对如前文所述的线性模型 $$ f(\boldsymbol{x}) = \boldsymbol{w}^\mathrm{T} \boldsymbol{x} \tag{1} $$ 记第 $i$ 个样本为 $(\boldsymbol{x}^{(i)}, y^{(i)})$，假设有 $$ y^{(i)} = \boldsymbol{w}^\mathrm{T} \boldsymbol{…
Read more
[ML Notes] 线性回归：Normal Equation
1. 基本形式 线性回归的形式为一系列特征的线性组合 $$ f(x) = w_0 + w_1 x_1 + w_2 x_2 + \cdots + w_n x_n \tag{1} $$ 其中 $x_i$ 为特征，$w_i$ 为参数。$w_0$ 为偏置，$w_1, w_2, \dots, w_n$ 为对应特征的权重。 令 $$ \boldsymbol{w}…
Read more
[ML Notes] 一元线性回归
1. 基本形式 一元线性回归的基本形式为： $$ f(x) = w x + b \tag{1} $$ 其中 $x$ 为特征，$w$ 和 $b$ 分别为权重和偏置。其对应的均方误差为 $$ J(w, b) = \frac{1}{m} \sum_{i=1}^m [y_i – f(x_i)]^2 = \frac{1}{m} \sum_{i=1}^m (y_i R…
Read more