线性代数 Cheat Sheet 5-1：特征向量与特征值
尽管变换 $\boldsymbol x \mapsto A \boldsymbol x$ 有可能使向量往各个方向移动，但通常会有某些特殊向量，$A$ 对这些向量的作用是简单的。
定义 $A$ 为 $n \times n$ 矩阵，$\boldsymbol x$ 为非零向量，若存在数 $\lambda$ 使 $A \boldsymbol x = \lambda \boldsymbol x$ 有非平凡解 $\boldsymbol x$，则称 $\lambda$ 为 $A$ 的特征值，$\boldsymbol x$ 称为对应于 $\lambda$ 的特征向量。
$\lambda$ 是 $A$ 的特征值当且仅当方程
\begin{equation}
(A – \lambda I) \boldsymbol x = \boldsymbol 0 \tag{1}
\end{equation}
有非平凡解。方程 $(1)$ 的所有解的集合就是矩阵 $A – \lambda I$ 的零空间，因此该集合是 $\mathbb{R}^n$ 的子空间，称为 $A$ 的对应于 $\lambda$ 的特征空间。特征空间由零向量和所有对应于 $\lambda$ 的特征向量组成。
定理 1 三角矩阵的主对角线的元素是其特征值。
定理 1 中的“三角矩阵”包含上三角和下三角矩阵，对于这些矩阵，主对角线上的每一个元素都是一个特征值。
如果一个矩阵 $A$ 有零特征值，则方程
\begin{equation}
A \boldsymbol x = 0 \boldsymbol x
\end{equation}
有非平凡解，但上式等价于 $A \boldsymbol x = \boldsymbol 0$，而 $A \boldsymbol x = \boldsymbol 0$ 有非平凡解的充要条件是 $A$ 是不可逆的。因此，$A$ 有零特征值的充要条件是 $A$ 不可逆。$0$ 是 $A$ 的特征值当且仅当 $A$ 不可逆。
定理 2 $\lambda_1, \cdots, \lambda_r$ 是 $n \times n$ 矩阵 $A$ 相异的特征值，$\boldsymbol v_1, \cdots, \boldsymbol v_r$ 是与 $\lambda_1, \cdots, \lambda_r$ 对应的特征向量，那么向量集合 $\{\boldsymbol v_1, \cdots, \boldsymbol v_r\}$ 线性无关。
1. 特征向量与差分方程
对于差分方程
\begin{equation}
\boldsymbol x_{k+1} = A \boldsymbol x_k \;\; (k = 0,1,2,\cdots) \tag{2}
\end{equation}
若 $A$ 是 $n \times n$ 矩阵，那么方程 $(2)$ 是 $\mathbb{R}^n$ 序列 $\{\boldsymbol x_k\}$ 的递归表示。方程 $(2)$ 的解是表述序列 $\{\boldsymbol x_k\}$ 的每个 $\boldsymbol x_k$ 的显式公式，公式不直接依赖于 $A$ 和序列前面的项，而是依赖于初始项 $\boldsymbol x_0$。
构造方程 $(2)$ 的解的最简单的方法是取 $A$ 的一个特征向量 $\boldsymbol x_0$ 和它对应的特征值 $\lambda$，然后令
\begin{equation}
\boldsymbol x_{k+1} = \lambda^k \boldsymbol x_0 \;\; (k = 0,1,2,\cdots) \tag{3}
\end{equation}
这就是方程 $(2)$ 的解，因为
\begin{equation}
A \boldsymbol x_k = A(\lambda^k \boldsymbol x_0) = \lambda^k (A \boldsymbol x_0) = \lambda^{k+1} \boldsymbol x_0 = \boldsymbol x_{k+1}
\end{equation}
此外，形如 $(3)$ 的解的线性组合仍然是 $(2)$ 的解。