线性代数 Cheat Sheet 7-1：对称矩阵的对角化
一个对称矩阵是一个满足 $A^\mathsf{T} = A$ 的矩阵 $A$，这种矩阵是方阵，其主对角线元素是任意的，但其他元素在主对角线的两边成对出现。
定理 1 如果 $A$ 是对称矩阵，那么不同特征空间的任意两个特征向量是正交的。
设 $\boldsymbol v_1, \boldsymbol v_2$ 是对应于不同特征值 $\lambda_1, \lambda_2$ 的特征向量，有
\begin{align}
\lambda_1 \boldsymbol v_1 \cdot \boldsymbol v_2 &= (\lambda_1 \boldsymbol v_1)^\mathsf{T} \boldsymbol v_2 = (A \boldsymbol v_1)^\mathsf{T} \boldsymbol v_2 = (\boldsymbol v_1^\mathsf{T} A^\mathsf{T}) \boldsymbol v_2 \\
&= \boldsymbol v_1^\mathsf{T} (A^\mathsf{T} \boldsymbol v_2) = \boldsymbol v_1^\mathsf{T} (\lambda_2 \boldsymbol v_2) = \lambda_2 \boldsymbol v_1^\mathsf{T} \boldsymbol v_2 \\
&= \lambda_2 \boldsymbol v_1 \cdot \boldsymbol v_2
\end{align}
因此有 $(\lambda_1 – \lambda_2)\boldsymbol v_1 \cdot \boldsymbol v_2 = 0$，但是 $\lambda_1 \neq \lambda_2$，故 $\boldsymbol v_1 \cdot \boldsymbol v_2 = 0$。
对于一个矩阵 $A$，如果存在一个正交矩阵 $P$（满足 $P^{-1} = P^\mathsf{T}$）和一个对角矩阵 $D$ 使得
\begin{equation}
A = PDP^\mathsf{T} = PDP^{-1} \tag{1}
\end{equation}
则称 $A$ 为可正交对角化。
为了正交对角化一个 $n \times n$ 矩阵，需要找到 $n$ 个线性无关的特征向量。如果 $A$ 像 $(1)$ 式一样可以正交对角化，则
\begin{equation}
A^\mathsf{T} = (PDP^\mathsf{T})^\mathsf{T} = PDP^\mathsf{T} = A \tag{1}
\end{equation}
这样的 $A$ 是对称的。
定理 2 一个 $n \times n$ 矩阵 $A$ 可正交对角化的充分必要条件是 $A$ 是对称矩阵。
1. 谱定理
矩阵 $A$ 的特征值的集合有时称为 $A$ 的谱。
定理 3（对称矩阵的谱定理）一个对称的 $n \times n$ 矩阵 $A$ 具有下述性质：
a. $A$ 有 $n$ 个特征值，包含重复的特征值。
b. 对每一个特征值 $\lambda$，对应的特征空间的维数等于 $\lambda$ 作为特征方程的根的重数。
c. 特征空间相互正交，这种正交性是在特征向量对应于不同特征值的意义下成立的。
d. $A$ 可正交对角化。
2. 谱分解
假设 $A = PDP^{-1}$，其中 $P$ 的列是 $A$ 的单位正交特征向量 $\boldsymbol u_1, \cdots, \boldsymbol u_n$，且相应的特征值 $\lambda_1, \cdots, \lambda_n$ 属于对角矩阵 $D$，由 $P^{-1} = P^\mathsf{T}$，有
\begin{align}
A &= PDP^\mathsf{T} = \begin{bmatrix} \boldsymbol u_1 & \cdots & \boldsymbol u_n \end{bmatrix}
\begin{bmatrix} \lambda_1 & & 0 \\ & \ddots & \\ 0 & & \lambda_n \end{bmatrix}
\begin{bmatrix} \boldsymbol u_1^\mathsf{T} \\ \vdots \\ \boldsymbol u_n^\mathsf{T} \end{bmatrix} \\
&= \begin{bmatrix} \lambda_1\boldsymbol u_1 & \cdots & \lambda_n\boldsymbol u_n \end{bmatrix}
\begin{bmatrix} \boldsymbol u_1^\mathsf{T} \\ \vdots \\ \boldsymbol u_n^\mathsf{T} \end{bmatrix}
\end{align}
利用乘积的行列式展开式，可以得到
\begin{equation}
A = \lambda_1 \boldsymbol u_1 \boldsymbol u_1^\mathsf{T} + \lambda_2 \boldsymbol u_2 \boldsymbol u_2^\mathsf{T} +\cdots + \lambda_n \boldsymbol u_n \boldsymbol u_n^\mathsf{T} \tag{2}
\end{equation}
由于它将 $A$ 分解为由 $A$ 的谱（特征值）确定的小块，因此这个 $A$ 的表示就称为 $A$ 的谱分解。$(2)$ 中的每一项都是一个秩为 $1$ 的 $n \times n$ 矩阵。例如，$\lambda_1 \boldsymbol u_1 \boldsymbol u_1^\mathsf{T}$ 的每一列都是 $\boldsymbol u_1$ 的倍数。更进一步，在 $\boldsymbol x$ 属于 $\mathbb{R}^n$ 的意义下，每个矩阵 $\boldsymbol u_j \boldsymbol u_j^\mathsf{T}$ 都是投影矩阵，向量 $(\boldsymbol u_j \boldsymbol u_j^\mathsf{T})\boldsymbol x$ 是 $\boldsymbol x$ 在由 $\boldsymbol u_j$ 生成的子空间上的正交投影。