线性代数 Cheat Sheet 6-3：正交投影
$\mathbb{R}^2$ 中点在通过原点的直线上的正交投影和 $\mathbb{R}^n$ 的情形非常类似。对给定向量 $\boldsymbol y$ 和 $\mathbb{R}^n$ 中子空间 $W$，存在属于 $W$ 的向量 $\hat{\boldsymbol y}$ 满足：（1）$W$ 中有唯一向量 $\hat{\boldsymbol y}$，使得 $\boldsymbol y – \hat{\boldsymbol y}$ 与 $W$ 正交，（2）$\hat{\boldsymbol y}$ 是 $W$ 中唯一最接近 $\boldsymbol y$ 的向量。
定理 8（正交分解定理）若 $R$ 是 $\mathbb{R}^n$ 的一个子空间，那么 $\mathbb{R}^n$ 中每一个向量 $\boldsymbol y$ 可以唯一表示为
\begin{equation}
\boldsymbol y = \hat{\boldsymbol y} + \boldsymbol z \tag{1}
\end{equation}
其中 $\hat{\boldsymbol y}$ 属于 $W$ 而 $\boldsymbol z$ 属于 $W^\perp$。实际上，如果 $\{\boldsymbol u_1, \cdots, \boldsymbol u_p\}$ 是 $W$ 的任意正交基，那么
\begin{equation}
\hat{\boldsymbol y} = \frac{\boldsymbol y \cdot \boldsymbol u_1}{\boldsymbol u_1 \cdot \boldsymbol u_1} \boldsymbol u_1 + \cdots + \frac{\boldsymbol y \cdot \boldsymbol u_p}{\boldsymbol u_p \cdot \boldsymbol u_p} \boldsymbol u_p \tag{2}
\end{equation}
且 $\boldsymbol z = \boldsymbol y – \hat{\boldsymbol y}$。
$(1)$ 式中的 $\hat{\boldsymbol y}$ 称为 $\boldsymbol y$ 在 $W$ 上的正交投影，常记作 $\mathrm{Proj}_W \boldsymbol y$。当 $W$ 是一维子空间时，$\hat{\boldsymbol y}$ 的公式和前文一致。
分解式 $(1)$ 的唯一性表明，正交投影 $\hat{\boldsymbol y}$ 仅依赖于 $W$，而不依赖 $(2)$ 中使用的特殊基。
1. 正交投影的性质
如果 $\{\boldsymbol u_1, \cdots, \boldsymbol u_p\}$ 是 $W$ 的正交基，且若 $\boldsymbol y$ 正好属于 $W$，那么 $\mathrm{Proj}_W \boldsymbol y$ 的公式和前文定理 5 里 $\boldsymbol y$ 的表达式完全一致。此时，$\mathrm{Proj}_W \boldsymbol y = \boldsymbol y$。
\begin{equation}
如果 \boldsymbol y 属于 W = \mathrm{Span} \{ \boldsymbol u_1, \cdots, \boldsymbol u_p \}, \; 那么 \mathrm{Proj}_W \boldsymbol y = \boldsymbol y
\end{equation}
定理 9（最佳逼近定理）假设 $W$ 是 $\mathbb{R}^n$ 的一个子空间，$\boldsymbol y$ 是 $\mathbb{R}^n$ 中的任意向量，$\hat{\boldsymbol y}$ 是 $\boldsymbol y$ 在 $W$ 上的正交投影，那么 $\hat{\boldsymbol y}$ 是 $W$ 中最接近 $\boldsymbol y$ 的点，也就是
\begin{equation}
\lVert \boldsymbol y – \hat{\boldsymbol y} \rVert < \lVert \boldsymbol y – \boldsymbol v \rVert
\end{equation}
对所有属于 $W$ 又异于 $\hat{\boldsymbol y}$ 的 $\boldsymbol v$ 成立。
定理 9 中的向量 $\hat{\boldsymbol y}$ 称为 $W$ 中元素对 $\boldsymbol y$ 的最佳逼近。用 $\lVert \boldsymbol y – \boldsymbol v \rVert$ 表示的从 $\boldsymbol y$ 到 $\boldsymbol v$ 的距离可以认为是用 $\boldsymbol v$ 代替 $\boldsymbol y$ 的“误差”。定理 8 说明误差在 $\boldsymbol v = \hat{\boldsymbol y}$ 处取得最小值。
定理 10 如果 $\{\boldsymbol u_1, \cdots, \boldsymbol u_p\}$ 是 $\mathbb{R}^n$ 中子空间 $W$ 的单位正交基，那么
\begin{equation}
\mathrm{Proj}_W \boldsymbol y = (\boldsymbol y \cdot \boldsymbol u_1) \boldsymbol u_1 + (\boldsymbol y \cdot \boldsymbol u_2) \boldsymbol u_2 + \cdots + (\boldsymbol y \cdot \boldsymbol u_p) \boldsymbol u_p
\end{equation}
如果 $U = \begin{bmatrix} \boldsymbol u_1 & \boldsymbol u_2 & \cdots & \boldsymbol u_p\end{bmatrix}$，则
\begin{equation}
\mathrm{Proj}_W \boldsymbol y = UU^\mathsf{T}\boldsymbol y, \; 对所有 \boldsymbol y \in \mathbb{R}^n 成立
\end{equation}
若 $U$ 是列单位正交的 $n \times p$ 矩阵，$W$ 是 $U$ 的列空间，那么
\begin{equation}
U^\mathsf{T}U \boldsymbol x = I_p \boldsymbol x = \boldsymbol x, \; 对所有属于 \mathbb{R}^p 的 \boldsymbol x 成立 \\
UU^\mathsf{T} \boldsymbol y = \mathrm{Proj}_W \boldsymbol y, \; 对所有属于 \mathbb{R}^n 的 \boldsymbol y 成立
\end{equation}
如果 $U$ 是 $n \times n$ （方）阵，且列单位正交，那么 $U$ 是正交矩阵，列空间 $W$ 是全部 $\mathbb{R}^n$ 空间。此时有 $U^{-1} = U^\mathsf{T}$，$UU^\mathsf{T} = UU^{-1} = I$，故 $UU^\mathsf{T} \boldsymbol y = I \boldsymbol y = \boldsymbol y$，对所有 $\boldsymbol y \in \mathbb{R}^n$ 成立。