线性代数 Cheat Sheet 7-1：对称矩阵的对角化
一个对称矩阵是一个满足 AT=A 的矩阵 A，这种矩阵是方阵，其主对角线元素是任意的，但其他元素在主对角线的两边成对出现。
定理 1 如果 A 是对称矩阵，那么不同特征空间的任意两个特征向量是正交的。
设 \boldsymbol v_1, \boldsymbol v_2 是对应于不同特征值 \lambda_1, \lambda_2 的特征向量，有
\begin{align} \lambda_1 \boldsymbol v_1 \cdot \boldsymbol v_2 &= (\lambda_1 \boldsymbol v_1)^\mathsf{T} \boldsymbol v_2 = (A \boldsymbol v_1)^\mathsf{T} \boldsymbol v_2 = (\boldsymbol v_1^\mathsf{T} A^\mathsf{T}) \boldsymbol v_2 \\ &= \boldsymbol v_1^\mathsf{T} (A^\mathsf{T} \boldsymbol v_2) = \boldsymbol v_1^\mathsf{T} (\lambda_2 \boldsymbol v_2) = \lambda_2 \boldsymbol v_1^\mathsf{T} \boldsymbol v_2 \\ &= \lambda_2 \boldsymbol v_1 \cdot \boldsymbol v_2 \end{align}
因此有 (\lambda_1 – \lambda_2)\boldsymbol v_1 \cdot \boldsymbol v_2 = 0，但是 \lambda_1 \neq \lambda_2，故 \boldsymbol v_1 \cdot \boldsymbol v_2 = 0。
对于一个矩阵 A，如果存在一个正交矩阵 P（满足 P^{-1} = P^\mathsf{T}）和一个对角矩阵 D 使得
\begin{equation} A = PDP^\mathsf{T} = PDP^{-1} \tag{1} \end{equation}
则称 A 为可正交对角化。
为了正交对角化一个 n \times n 矩阵，需要找到 n 个线性无关的特征向量。如果 A 像 (1) 式一样可以正交对角化，则
\begin{equation} A^\mathsf{T} = (PDP^\mathsf{T})^\mathsf{T} = PDP^\mathsf{T} = A \tag{1} \end{equation}
这样的 A 是对称的。
定理 2 一个 n \times n 矩阵 A 可正交对角化的充分必要条件是 A 是对称矩阵。
Contents [show]
1. 谱定理
矩阵 A 的特征值的集合有时称为 A 的谱。
定理 3（对称矩阵的谱定理）一个对称的 n \times n 矩阵 A 具有下述性质：
a. A 有 n 个特征值，包含重复的特征值。
b. 对每一个特征值 \lambda，对应的特征空间的维数等于 \lambda 作为特征方程的根的重数。
c. 特征空间相互正交，这种正交性是在特征向量对应于不同特征值的意义下成立的。
d. A 可正交对角化。
2. 谱分解
假设 A = PDP^{-1}，其中 P 的列是 A 的单位正交特征向量 \boldsymbol u_1, \cdots, \boldsymbol u_n，且相应的特征值 \lambda_1, \cdots, \lambda_n 属于对角矩阵 D，由 P^{-1} = P^\mathsf{T}，有
\begin{align} A &= PDP^\mathsf{T} = \begin{bmatrix} \boldsymbol u_1 & \cdots & \boldsymbol u_n \end{bmatrix} \begin{bmatrix} \lambda_1 & & 0 \\ & \ddots & \\ 0 & & \lambda_n \end{bmatrix} \begin{bmatrix} \boldsymbol u_1^\mathsf{T} \\ \vdots \\ \boldsymbol u_n^\mathsf{T} \end{bmatrix} \\ &= \begin{bmatrix} \lambda_1\boldsymbol u_1 & \cdots & \lambda_n\boldsymbol u_n \end{bmatrix} \begin{bmatrix} \boldsymbol u_1^\mathsf{T} \\ \vdots \\ \boldsymbol u_n^\mathsf{T} \end{bmatrix} \end{align}
利用乘积的行列式展开式，可以得到
\begin{equation} A = \lambda_1 \boldsymbol u_1 \boldsymbol u_1^\mathsf{T} + \lambda_2 \boldsymbol u_2 \boldsymbol u_2^\mathsf{T} +\cdots + \lambda_n \boldsymbol u_n \boldsymbol u_n^\mathsf{T} \tag{2} \end{equation}
由于它将 A 分解为由 A 的谱（特征值）确定的小块，因此这个 A 的表示就称为 A 的谱分解。(2) 中的每一项都是一个秩为 1 的 n \times n 矩阵。例如，\lambda_1 \boldsymbol u_1 \boldsymbol u_1^\mathsf{T} 的每一列都是 \boldsymbol u_1 的倍数。更进一步，在 \boldsymbol x 属于 \mathbb{R}^n 的意义下，每个矩阵 \boldsymbol u_j \boldsymbol u_j^\mathsf{T} 都是投影矩阵，向量 (\boldsymbol u_j \boldsymbol u_j^\mathsf{T})\boldsymbol x 是 \boldsymbol x 在由 \boldsymbol u_j 生成的子空间上的正交投影。