线性代数 Cheat Sheet 6-3:正交投影

  $\mathbb{R}^2$ 中点在通过原点的直线上的正交投影和 $\mathbb{R}^n$ 的情形非常类似。对给定向量 $\boldsymbol y$ 和 $\mathbb{R}^n$ 中子空间 $W$,存在属于 $W$ 的向量 $\hat{\boldsymbol y}$ 满足:(1)$W$ 中有唯一向量 $\hat{\boldsymbol y}$,使得 $\boldsymbol y – \hat{\boldsymbol y}$ 与 $W$ 正交,(2)$\hat{\boldsymbol y} 是 $W$ 中唯一最接近 $\boldsymbol y$ 的向量。

  定理 8(正交分解定理)若 $R$ 是 $\mathbb{R}^n$ 的一个子空间,那么 $\mathbb{R}^n$ 中每一个向量 $\boldsymbol y$ 可以唯一表示为

\begin{equation}
\boldsymbol y = \hat{\boldsymbol y} + \boldsymbol z \tag{1}
\end{equation}

其中 $\hat{\boldsymbol y}$ 属于 $W$ 而 $\boldsymbol z$ 属于 $W^\perp$。实际上,如果 $\{\boldsymbol u_1, \cdots, \boldsymbol u_p\}$ 是 $W$ 的任意正交基,那么

\begin{equation}
\hat{\boldsymbol y} = \frac{\boldsymbol y \cdot \boldsymbol u_1}{\boldsymbol u_1 \cdot \boldsymbol u_1} \boldsymbol u_1 + \cdots + \frac{\boldsymbol y \cdot \boldsymbol u_p}{\boldsymbol u_p \cdot \boldsymbol u_p} \boldsymbol u_p \tag{2}
\end{equation}

且 $\boldsymbol z = \boldsymbol y – \hat{\boldsymbol y}$。

  $(1)$ 式中的 $\hat{\boldsymbol y}$ 称为 $\boldsymbol y$ 在 $W$ 上的正交投影,常记作 $\mathrm{Proj}_W \boldsymbol y$。当 $W$ 是一维子空间时,$\hat{\boldsymbol y}$ 的公式和前文一致。

  分解式 $(1)$ 的唯一性表明,正交投影 $\hat{\boldsymbol y}$ 仅依赖于 $W$,而不依赖 $(2)$ 中使用的特殊基。

1. 正交投影的性质

  如果 $\{\boldsymbol u_1, \cdots, \boldsymbol u_p\}$ 是 $W$ 的正交基,且若 $\boldsymbol y$ 正好属于 $W$,那么 $\mathrm{Proj}_W \boldsymbol y$ 的公式和前文定理 5 里 $\boldsymbol y$ 的表达式完全一致。此时,$\mathrm{Proj}_W \boldsymbol y = \boldsymbol y$。

\begin{equation}
如果 \boldsymbol y 属于 W = \mathrm{Span} \{ \boldsymbol u_1, \cdots, \boldsymbol u_p \}, \; 那么 \mathrm{Proj}_W \boldsymbol y = \boldsymbol y
\end{equation}

  定理 9(最佳逼近定理)假设 $W$ 是 $\mathbb{R}^n$ 的一个子空间,$\boldsymbol y$ 是 $\mathbb{R}^n$ 中的任意向量,$\hat{\boldsymbol y}$ 是 $\boldsymbol y$ 在 $W$ 上的正交投影,那么 $\hat{\boldsymbol y}$ 是 $W$ 中最接近 $\boldsymbol y$ 的点,也就是

\begin{equation}
\lVert \boldsymbol y – \hat{\boldsymbol y} \rVert < \lVert \boldsymbol y – \boldsymbol v \rVert
\end{equation}

对所有属于 $W$ 又异于 $\hat{\boldsymbol y}$ 的 $\boldsymbol v$ 成立。

  定理 9 中的向量 $\hat{\boldsymbol y}$ 称为 $W$ 中元素对 $\boldsymbol y$ 的最佳逼近。用 $\lVert \boldsymbol y – \boldsymbol v \rVert$ 表示的从 $\boldsymbol y$ 到 $\boldsymbol v$ 的距离可以认为是用 $\boldsymbol v$ 代替 $\boldsymbol y$ 的“误差”。定理 8 说明误差在 $\boldsymbol v = \hat{\boldsymbol y}$ 处取得最小值。

  定理 10 如果 $\{\boldsymbol u_1, \cdots, \boldsymbol u_p\}$ 是 $\mathbb{R}^n$ 中子空间 $W$ 的单位正交基,那么

\begin{equation}
\mathrm{Proj}_W \boldsymbol y = (\boldsymbol y \cdot \boldsymbol u_1) \boldsymbol u_1 + (\boldsymbol y \cdot \boldsymbol u_2) \boldsymbol u_2 + \cdots + (\boldsymbol y \cdot \boldsymbol u_p) \boldsymbol u_p
\end{equation}

如果 $U = \begin{bmatrix} \boldsymbol u_1 & \boldsymbol u_2 & \cdots & \boldsymbol u_p\end{bmatrix}$,则

\begin{equation}
\mathrm{Proj}_W \boldsymbol y = UU^\mathsf{T}\boldsymbol y, \; 对所有 \boldsymbol y \in \mathbb{R}^n 成立
\end{equation}

  若 $U$ 是列单位正交的 $n \times p$ 矩阵,$W$ 是 $U$ 的列空间,那么

\begin{equation}
U^\mathsf{T}U \boldsymbol x = I_p \boldsymbol x = \boldsymbol x, \; 对所有属于 \mathbb{R}^p 的 \boldsymbol x 成立 \\
UU^\mathsf{T} \boldsymbol y = \mathrm{Proj}_W \boldsymbol y, \; 对所有属于 \mathbb{R}^n 的 \boldsymbol y 成立
\end{equation}

如果 $U$ 是 $n \times n$ (方)阵,且列单位正交,那么 $U$ 是正交矩阵,列空间 $W$ 是全部 $\mathbb{R}^n$ 空间。此时有 $U^{-1} = U^\mathsf{T}$,$UU^\mathsf{T} = UU^{-1} = I$,故 $UU^\mathsf{T} \boldsymbol y = I \boldsymbol y = \boldsymbol y$,对所有 $\boldsymbol y \in \mathbb{R}^n$ 成立。