线性代数 Cheat Sheet 6-4：格拉姆-施密特方法
格拉姆-施密特方法是为 $\mathbb{R}^n$ 中任意非零子空间构造正交基或标准正交基的简单算法。
定理 11（格拉姆-施密特方法）对 $\mathbb{R}^n$ 的子空间 $W$ 的一个基 $\{\boldsymbol x_1, \cdots, \boldsymbol x_p\}$，定义
\begin{align}
\boldsymbol v_1 &= \boldsymbol x_1 \\
\boldsymbol v_2 &= \boldsymbol x_2 – \frac{\boldsymbol x_2 \cdot \boldsymbol v_1}{\boldsymbol v_1 \cdot \boldsymbol v_1} \boldsymbol v_1 \\
\boldsymbol v_3 &= \boldsymbol x_3 – \frac{\boldsymbol x_3 \cdot \boldsymbol v_1}{\boldsymbol v_1 \cdot \boldsymbol v_1} \boldsymbol v_1 -\frac{\boldsymbol x_3 \cdot \boldsymbol v_2}{\boldsymbol v_2 \cdot \boldsymbol v_2} \boldsymbol v_2\\
\vdots \\
\boldsymbol v_p &= \boldsymbol x_p – \frac{\boldsymbol x_p \cdot \boldsymbol v_1}{\boldsymbol v_1 \cdot \boldsymbol v_1} \boldsymbol v_1 -\frac{\boldsymbol x_p \cdot \boldsymbol v_2}{\boldsymbol v_2 \cdot \boldsymbol v_2} \boldsymbol v_2 – \cdots – \frac{\boldsymbol x_p \cdot \boldsymbol v_{p-1}}{\boldsymbol v_{p-1} \cdot \boldsymbol v_{p-1}} \boldsymbol v_{p-1}
\end{align}
那么 $\{\boldsymbol v_1, \cdots, \boldsymbol v_p\}$ 是 $W$ 的一个正交基。此外：
\begin{equation}
\mathrm{Span} \{ \boldsymbol v_1, \cdots, \boldsymbol v_k \} = \mathrm{Span} \{ \boldsymbol x_1, \cdots, \boldsymbol x_k \}, \; 其中 1 \leq k \leq p
\end{equation}
定理 11 说明任何 $\mathbb{R}^n$ 中的非零子空间 $W$ 有一个正交基，因为普通的基 $\{\boldsymbol x_1, \cdots, \boldsymbol x_p\}$ 总是存在的。
Contents
1. 标准正交基
对一个正交基 $\{\boldsymbol v_1, \cdots, \boldsymbol v_p\}$ 中的所有 $\boldsymbol v_k$ 进行单位化，即得到一个标准正交基。
2. 矩阵的 QR 分解
如果 $m \times n$ 矩阵 $A$ 的列 $\boldsymbol x_1, \cdots, \boldsymbol x_n$ 线性无关，那么应用格拉姆-施密特方法（包含单位化）于 $\boldsymbol x_1, \cdots, \boldsymbol x_n$ 等同于按下面定理描述的方法分解 $A$。
定理 12（QR 分解）如果 $m \times n$ 矩阵 $A$ 的列线性无关，那么 $A$ 可以分解为 $A = QR$，其中 $Q$ 是一个 $m \times n$ 矩阵，其列形成 $\mathrm{Col}\; A$ 的一个标准正交基，$R$ 是一个 $n \times n$ 上三角可逆矩阵且在对角线上的元素为正数。
为了找到合适的 $R$，由 $Q$ 的列是单位正交向量，有 $Q^\mathsf{T}Q = I$，故 $Q^\mathsf{T}A = Q^\mathsf{T}(QR) = R$，即 $R = Q^\mathsf{T}A$。