线性代数 Cheat Sheet 4-8：差分方程中的应用
设 $\mathbb{S}$ 是数的双向无穷序列空间：
\begin{equation}
{y_k} = (\cdots, y_{-2}, y_{-1}, y_0, y_1, y_2, \cdots)
\end{equation}
若 $\{z_k\}$ 是 $\mathbb{S}$ 中的另一个元素，则和 $\{y_k\} + \{z_k\}$ 是序列 $\{y_k + z_k\}$，它由 $\{y_k\}$ 与 $\{z_k\}$ 对应项之和构成。数乘 $c \{y_k\}$ 数序列 $\{c y_k\}$。
$\mathbb{S}$ 中的元素来源于工程学，例如每当一个信号在离散时间上被采样时，它就可以看做是 $\mathbb{S}$ 中的一个元素。为了方便，称 $\mathbb{S}$ 为（离散时间）信号空间。$\mathbb{S}$ 中的一个信号是一个只定义在整数上的函数，同时可用一个数列将其直观化，即 $\{y_k\}$。
1. 信号空间 $\mathbb{S}$ 中的线性无关性
考虑一个仅包含三个信号 $\{u_k\}$，$\{v_k\}$ 和 $\{w_k\}$ 的集合 $\mathbb{S}$，当方程
\begin{equation}
c_1 u_k + c_2 v_k + c_3 w_k = 0 \;\; 对所有 k 成立 \tag{1}
\end{equation}
蕴含 $c_1 = c_2 = c_3 = 0$ 时，$\{u_k\}, \{v_k\}, \{w_k\}$ 恰好是线性无关的。这里说“对所有 $k$ 成立”即对所有整数——正整数、负整数和 $0$ 均成立。对于从 $k = 0$ 开始的信号，“对所有 $k$ 成立”表示对所有 $k \geq 0$ 的整数成立。
假设 $c_1, c_2, c_3$ 满足 $(1)$ 式，那么方程 $(1)$ 对任意三个相邻的值 $k, k+1, k+2$ 成立，这样 $(1)$ 蕴含
\begin{equation}
c_1 u_{k+1} + c_2 v_{k+1} + c_3 w_{k+1} = 0 \;\; 对所有 k 成立
c_1 u_{k+2} + c_2 v_{k+2} + c_3 w_{k+2} = 0 \;\; 对所有 k 成立
\end{equation}
从而 $c_1, c_2, c_3$ 满足
\begin{equation}
\begin{bmatrix}
u_k & v_k & w_k \\ u_{k+1} & v_{k+1} & w_{k+1} \\ u_{k+2} & v_{k+2} & w_{k+2}
\end{bmatrix}
\begin{bmatrix}
c_1 \\ c_2 \\ c_3
\end{bmatrix} =
\begin{bmatrix}
0 \\ 0 \\ 0
\end{bmatrix} \tag{2}
\end{equation}
这个方程组的系数矩阵称为 Casorati 矩阵，这个矩阵的行列式称为 $\{u_k\}, \{v_k\}, \{w_k\}$ 的 Casorati 行列式。如果对至少一个 $k$ 值 Casorati 矩阵可逆，则 $(2)$ 将蕴涵 $c_1 = c_2 = c_3 = 0$，这就证明这三个信号是线性无关的。即只要在某一时间点 $\{u_k\}, \{v_k\}, \{w_k\}$ 线性无关，则认为三个信号线性无关。
若 Casorati 矩阵不可逆，则相应的信号通过检测可能线性相关可能不是线性相关。但是可以证明，如果这些信号是同一个齐次差分方程的所有解，则 Casorati 矩阵对所有 $k$ 是可逆的且这些信号是线性无关的，否则 Casorati 矩阵对所有 $k$ 都不可逆且这些信号是线性相关的。
2. 线性差分方程
给定数 $a_0, \cdots, a_n, a_0$ 不为零，给定一个信号 $z_k$，方程
\begin{equation}
a_0 y_{k+n} + a_1 y_{k+n-1} + \cdots + a_{n-1} y_{k+1} + a_n y_k = z_k \;\; 对所有 k 成立 \tag{3}
\end{equation}
称为一个 $n$ 阶线性差分方程（或线性递归关系）。为了简化，$a_0$ 通常取为 $1$。若 $\{z_k\}$ 是零序列，则方程式齐次的，否则方程式非齐次的。
在许多应用中，序列 $\{z_k\}$ 由差分方程 $(3)$ 的右端确定，满足 $(3)$ 的一个 $\{y_k\}$ 称为这个方程的一个解。
齐次差分方程的解通常具有形式 $y_k = r_k$ 对某 $r$ 成立。一般而言，一个非零信号 $r_k$ 满足齐次差分方程
\begin{equation}
a_0 y_{k+n} + a_1 y_{k+n-1} + \cdots + a_{n-1} y_{k+1} + a_n y_k = 0 \;\; 对所有 k 成立
\end{equation}
当且仅当 $r$ 是辅助方程
\begin{equation}
r^n + a_1 r_{n – 1} + \cdots + a_{n-1} r + a_n = 0
\end{equation}
的一个根，我们将不考虑当 $r$ 是辅助方程的重根的情形。当这个辅助方程由复根时，差分方程具有形如 $s^k \cos k \omega$ 和 $s^k \sin k \omega$ 的解，其中 $s$ 和 $\omega$ 是常数。
3. 线性差分方程的解集
给定 $a_1, \cdots, a_n$，考虑映射 $T: \mathbb{S} \mapsto \mathbb{S}$ 将信号 $\{y_k\}$ 变换到信号 $\{w_k\}$，这由下式给出：
\begin{equation}
w_k = y_{k+n} + a_1 y_{k+n-1} + \cdots + a_{n-1}y_{k+1} + a_n y_k
\end{equation}
容易验证 $T$ 是一个线性变换。这蕴含齐次方程
\begin{equation}
y_{k+n} + a_1 y_{k+n-1} + \cdots + a_{n-1}y_{k+1} + a_n y_k = 0 \;\; 对所有 k 成立
\end{equation}
的解集是 $T$ 的核（经 $T$ 映射到零信号空间的信号的集合），进而这个解集是 $\mathbb{S}$ 的一个子空间，任何解的线性组合仍然是解。
定理 16 若 $a_n \neq 0$ 且 $\{z_k\}$ 给定，只要 $y_0, \cdots, y_{n-1}$ 给定，方程
\begin{equation}
y_{k+n} + a_1 y_{k+n-1} + \cdots + a_{n-1}y_{k+1} + a_n y_k = z_k \;\; 对所有 k 成立
\end{equation}
有唯一解。
定理 17 $n$ 阶齐次线性差分方程
\begin{equation}
y_{k+n} + a_1 y_{k+n-1} + \cdots + a_{n-1}y_{k+1} + a_n y_k = 0\;\; 对所有 k 成立 \tag{4}
\end{equation}
的解集 $H$ 是一个 $n$ 维向量空间。
描述 $(4)$ 式“通解”的标准方法是对所有解构成的子空间给出它的一个基，这样的基称为 $(4)$ 的基础解系。实际上，如果我们能找到 $n$ 个线性无关的信号满足 $(4)$，那么它们必然生成这个 $n$ 维解空间。
4. 非齐次方程
非齐次差分方程
\begin{equation}
y_{k+n} + a_1 y_{k+n-1} + \cdots + a_{n-1}y_{k+1} + a_n y_k = z_k \;\; 对所有 k 成立 \tag{5}
\end{equation}
的通解能写成 $(5)$ 的一个特解加上对应齐次差分方程 $(4)$ 的一个基础解系的任意线性组合。这个结果类似 $A \boldsymbol x = \boldsymbol b$ 和 $A \boldsymbol x = \boldsymbol 0$ 的解集的关系，二者是类似的。这两个结果有相同的意义：映射 $\boldsymbol x \mapsto A \boldsymbol x$ 是线性的，$(5)$ 中将信号 $\{y_k\}$ 变成信号 $\{z_k\}$ 的映射也是线性的。
5. 化简成一阶方程组
研究 $n$ 阶齐次线性差分方程的现代方法是用等价地一阶线性方程组代替它，其中一阶差分方程写成如下形式：
\begin{equation}
\boldsymbol x_{k+1} = A \boldsymbol x_k, \;\; 对所有 k 成立
\end{equation}
其中向量 $\boldsymbol x_k$ 在 $\mathbb{R}^n$ 中，$A$ 是一个 $n \times n$ 矩阵。
一般而言，方程
\begin{equation}
y_{k+n} + a_1 y_{k+n-1} + \cdots + a_{n-1}y_{k+1} + a_n y_k = 0 \;\; 对所有 k 成立
\end{equation}
可以重写成 $\boldsymbol x_{k+1} = A \boldsymbol x_k$，对所有 $k$ 成立，其中
\begin{equation}
\boldsymbol x_k = \begin{bmatrix}
y_k \\ y_{k+1} \\ \vdots \\ y_{k+n-1}
\end{bmatrix},
A = \begin{bmatrix}
0 & 1 & 0 & \cdots & 0 \\
0 & 0 & 1 & \cdots & 0 \\
\vdots & & & \ddots & \vdots \\
0 & 0 & 0 & \cdots & 1 \\
-a_n & -a_{n-1} & -a_{n-2} & \cdots & -a_1
\end{bmatrix}
\end{equation}