线性代数 Cheat Sheet 6-2：正交集
对于 $\mathbb{R}^n$ 中的向量集合 $\boldsymbol u_1, \cdot, \boldsymbol u_p$，如果集合中任意两个不同的向量都正交，即当 $i \neq j$ 时，$\boldsymbol u_i \cdot \boldsymbol u_j = 0$，则称该向量集合为正交集。
定理 4 如果 $S = \{\boldsymbol u_1, \cdot, \boldsymbol u_p\}$ 是 $\mathbb{R}^n$ 中非零向量构成的正交集，那么 $S$ 是线性无关集，因此构成 $S$ 所生成的子空间的一组基。
定义 $\mathbb{R}^n$ 中子空间 $W$ 的一个正交基是 $W$ 的一个基，也是正交基。
定理 5 假设 $\{\boldsymbol u_1, \cdots, \boldsymbol u_p\}$ 是 $\mathbb{R}^n$ 中子空间 $W$ 的正交基，对 $W$ 中的每个向量 $\boldsymbol y$，线性组合 $\boldsymbol y = c_1\boldsymbol u_1 + \cdots + c_p\boldsymbol u_p$ 中的权可以由 $c_j = \frac{\boldsymbol y \cdot \boldsymbol u_j}{\boldsymbol u_j \cdot \boldsymbol u_j} \; (j = 1, \cdots, p)$ 计算
对于上面定理中的 $\boldsymbol y$，有
\begin{equation}
\boldsymbol y \cdot \boldsymbol u_1 = (c_1\boldsymbol u_1 + \cdots + c_p\boldsymbol u_p) \cdot \boldsymbol u_1 = c_1(\boldsymbol u_1 \cdot \boldsymbol u_1)
\end{equation}
故有
\begin{equation}
c_1 = \frac{\boldsymbol y \cdot \boldsymbol u_1}{\boldsymbol u_1 \cdot \boldsymbol u_1}
\end{equation}
正交基比其他基更优越，线性组合中的权更易计算。如果基不是正交的，则必须解线性方程组才能得到权值。
1. 正交投影
对 $\mathbb{R}^n$ 中给出的非零向量 $\boldsymbol u$，考虑 $\mathbb{R}^n$ 中一个向量 $\boldsymbol y$ 分解为两个向量之和的问题，一个向量是 $\boldsymbol u$ 的倍数，另一个向量与 $\boldsymbol u$ 正交。我们期望写成
\begin{equation}
\boldsymbol y = \hat{\boldsymbol y} + \boldsymbol z \tag{1}
\end{equation}
其中 $\hat{\boldsymbol y} = \alpha \boldsymbol u$，$\alpha$ 是一个数，$\boldsymbol z$ 是一个垂直于 $\boldsymbol u$ 的向量。对给定数 $\alpha$，记 $\boldsymbol z = \boldsymbol y – \hat{\boldsymbol y}$，则方程 $(1)$ 可以满足。那么 $\boldsymbol y – \hat{\boldsymbol y}$ 和 $\boldsymbol u$ 正交的充分必要条件是
\begin{equation}
0 = (\boldsymbol y – \alpha \boldsymbol u) \cdot \boldsymbol u = \boldsymbol y \cdot \boldsymbol u – \alpha (\boldsymbol u \cdot \boldsymbol u)
\end{equation}
也就是满足方程 $(1)$ 且 $\boldsymbol z$ 与 $\boldsymbol u$ 正交的充分必要条件是 $\alpha = \frac{\boldsymbol y \cdot \boldsymbol u}{\boldsymbol u \cdot \boldsymbol u}$ 和 $\hat{\boldsymbol y} = \frac{\boldsymbol y \cdot \boldsymbol u}{\boldsymbol u \cdot \boldsymbol u} \cdot \boldsymbol u$。向量 $\hat{\boldsymbol y}$ 称为 $\boldsymbol y$ 在 $\boldsymbol u$ 上的正交投影，向量 $\boldsymbol z$ 称为 $\boldsymbol y$ 与 $\boldsymbol u$ 的正交的分量。
如果 $c$ 是非零数，且在 $\hat{\boldsymbol y}$ 的定义中用 $c \boldsymbol u$ 代替 $\boldsymbol u$，那么 $\boldsymbol y$ 在 $c \boldsymbol u$ 上的正交投影和 $\boldsymbol y$ 在 $\boldsymbol u$ 上的正交投影完全一致，因此这个投影可由 $\boldsymbol u$ 向量生成的子空间 $L$（经过 $\boldsymbol u$ 和原点的直线）所确定，有时用 $\mathrm{Proj}_L \boldsymbol y$ 来表示 $\hat{\boldsymbol y}$，并称之为 $\boldsymbol y$ 在 $\boldsymbol u$ 上的正交投影，即
\begin{equation}
\hat{\boldsymbol y} = \mathrm{Proj}_L \boldsymbol y = \frac{\boldsymbol y \cdot \boldsymbol u}{\boldsymbol u \cdot \boldsymbol u} \cdot \boldsymbol u
\end{equation}
2. 单位正交集
如果集合 $\{\boldsymbol u_1, \cdot, \boldsymbol u_p\}$ 是由单位向量构成的正交集，这个集合是一个单位正交集。如果 $W$ 是一个由单位正交集合生成的子空间，那么 $\{\boldsymbol u_1, \cdot, \boldsymbol u_p\}$ 是 $W$ 的单位正交基，这是因为这类集合自然线性无关。
最简单的单位正交集合是 $\mathbb{R}^n$ 中的标准基 $\{\boldsymbol e_1, \cdot, \boldsymbol e_n\}$，集合 $\{\boldsymbol e_1, \cdot, \boldsymbol e_n\}$ 的任一非空子集也是单位正交的。
当一个正交集中的向量被“单位化”而具有单位长度后，这些新向量仍然保持正交性，因此新的集合成为单位正交集。
定理 6 一个 $m \times n$ 矩阵 $U$ 具有单位正交列向量的充分必要条件是 $U^\mathsf{T} U = I$。
定理 7 假设 $U$ 是一个具有单位正交列的 $m \times n$ 矩阵，且 $\boldsymbol x$ 和 $\boldsymbol y$ 是 $\mathbb{R}^n$ 中的向量，那么
a. $\lVert U \boldsymbol x \rVert = \lVert \boldsymbol x \rVert$
b. $(U \boldsymbol x) \cdot (U \boldsymbol y) = \boldsymbol x \cdot \boldsymbol y$
c. $(U \boldsymbol x) \cdot (U \boldsymbol y) = 0$ 的充分必要条件是 $\boldsymbol x \cdot \boldsymbol y = 0$
定理 7 表明，线性映射 $\boldsymbol x \mapsto U\boldsymbol x$ 保持长度和正交性。对于一个可逆的方阵 $U$，如果满足 $U^\mathsf{T} U = I$，则 $U$ 称为正交矩阵，由定理 6，这样的矩阵具有单位正交列。任何具有单位正交列的方阵都是正交矩阵，这类矩阵同样具有单位正交行。