[ML Notes] 线性回归：正交投影
考虑前文所述的线性模型
$$
\boldsymbol{f}(X) = X \boldsymbol{w} \tag{1}
$$
理想的 $\boldsymbol{w}$ 应使得 $X \boldsymbol{w} = \boldsymbol{y}$，但这样的解并不一定存在。此时最好的选择是寻找一个 $\boldsymbol{w}$，使得 $X \boldsymbol{w}$ 尽可能接近 $\boldsymbol{y}$ 。$\boldsymbol{y}$ 与 $X \boldsymbol{w}$ 之间的距离 $||\boldsymbol{y} – X \boldsymbol{w}||$ 越小，则近似程度越好。
注意到向量 $X \boldsymbol{w}$ 必然属于列空间 $\mathrm{Col}\;X$，我们希望 $X \boldsymbol{w}$ 是 $\mathrm{Col}\;X$ 中最接近 $\boldsymbol{y}$ 的点，根据最佳逼近定理，该点应为 $\boldsymbol{y}$ 在 $\mathrm{Col}\;X$ 上的投影，即
$$
\hat{\boldsymbol{y}} = \mathrm{Proj}_{\mathrm{Col}\;X} \boldsymbol{y} \tag{2}
$$
由于 $\hat{\boldsymbol{y}}$ 属于 $X$ 的列空间，故关于 $\boldsymbol{w}$ 的方程 $X \boldsymbol{w} = \hat{\boldsymbol{y}}$ 是相容的，且存在一个属于 $\mathbb{R}^n$ 的 $\hat{\boldsymbol{w}}$，使得
$$
X \hat{\boldsymbol{w}} = \hat{\boldsymbol{y}} \tag{3}
$$
若 $\hat{\boldsymbol{w}}$ 满足 $X \hat{\boldsymbol{w}} = \hat{\boldsymbol{y}}$，根据正交分解定理，对于 $\boldsymbol{y}$ 在 $\mathrm{Col}\;X$ 上的投影 $\hat{\boldsymbol{y}}$，有 $\boldsymbol{y} – \hat{\boldsymbol{y}}$ 与 $\mathrm{Col}\;X$ 正交，即 $\boldsymbol{y} – X \hat{\boldsymbol{w}}$ 正交于 $X$ 的每一列。对于 $X$ 的任意列 $\boldsymbol{x}$，有 $\boldsymbol{x} \cdot (\boldsymbol{y} – X \hat{\boldsymbol{w}}) = 0$ 即 $\boldsymbol{x}^\mathrm{T} (\boldsymbol{y} – X \hat{\boldsymbol{w}}) = 0$，因此有
$$
X^\mathrm{T}(\boldsymbol{y} – X \hat{\boldsymbol{w}}) = \boldsymbol{0} \tag{4}
$$
故有
$$
X^\mathrm{T}\boldsymbol{y} – X^\mathrm{T}X\hat{\boldsymbol{w}} = 0
$$
$$
X^\mathrm{T}X\hat{\boldsymbol{w}} = X^\mathrm{T}\boldsymbol{y} \tag{5}
$$
上式称为 $X \boldsymbol{w} = \boldsymbol{y}$ 的法方程。当 $X^\mathrm{T}X$ 可逆，最小二乘解为
$$
\hat{\boldsymbol{w}} = (X^\mathrm{T}X)^{-1}X^\mathrm{T}\boldsymbol{y} \tag{6}
$$
$\boldsymbol{y}$ 到 $X\hat{\boldsymbol{w}}$ 的距离称为最小二乘误差。式 $(6)$ 得到的结果与前文相同。
最佳逼近定理 假设 $\mathcal{W}$ 是 $\mathbb{R}^n$ 的一个子空间，$\boldsymbol{y}$ 是 $\mathbb{R}^n$ 中的任意向量，$\hat{\boldsymbol{y}}$ 是 $\boldsymbol{y}$ 在 $\mathcal{W}$ 上的正交投影，那么 $\hat{\boldsymbol{y}}$ 是 $\mathcal{W}$ 中最接近 $\boldsymbol{y}$ 的点，也就是
$$
||\boldsymbol{y} – \hat{\boldsymbol{y}}|| < ||\boldsymbol{y} – \boldsymbol{v}||
$$
对所有属于 $\mathcal{W}$ 又异于 $\hat{\boldsymbol{y}}$ 的 $\boldsymbol{v}$ 成立。
正交分解定理 若 $R$ 是 $\mathbb{R}^n$ 的一个子空间，那么 $\mathbb{R}^n$ 中每一个向量 $\boldsymbol y$ 可以唯一表示为
$$
\boldsymbol y = \hat{\boldsymbol y} + \boldsymbol z
$$
其中 $\hat{\boldsymbol y}$ 属于 $W$ 而 $\boldsymbol z$ 属于 $W^\perp$。实际上，如果 $\{\boldsymbol u_1, \cdots, \boldsymbol u_p\}$ 是 $W$ 的任意正交基，那么
$$
\hat{\boldsymbol y} = \frac{\boldsymbol y \cdot \boldsymbol u_1}{\boldsymbol u_1 \cdot \boldsymbol u_1} \boldsymbol u_1 + \cdots + \frac{\boldsymbol y \cdot \boldsymbol u_p}{\boldsymbol u_p \cdot \boldsymbol u_p} \boldsymbol u_p
$$
且 $\boldsymbol z = \boldsymbol y – \hat{\boldsymbol y}$。