时间序列分析：差分方程
1. 定义
在前文中给出的 $MA(q)$ 过程的定义使用了递归的形式，例如 $X_t = \phi X_{t-1} + e_t$，使用 $\{X_t\}$ 在 $t-1$ 时刻的值 $X_{t}$来定义 $X_t$。更一般地，形如
\begin{equation}
y_n = a_1 y_{n-1} + a_2 y_{n-2} + \cdots + a_n y_{n-k} + b \tag{1}
\end{equation}
的方程称为 $n$ 阶差分方程。形如式 $(1)$ 的方程没有直接给出 $y_n$ 的表达式，而是给出了 $y_n$ 与其前项的关系。要得到 $y_n$ 的一般表达式，需要解差分方程。
2. 一个例子
例如对如下的差分方程
\begin{equation}
y_n = 5 y_{n-1} – 6y_{n-2} \tag{2}
\end{equation}
假设它的解为 $\lambda^n$ 的形式，此时式 $(2)$ 可以写为
\begin{equation}
\lambda^n = 5 \lambda^{n-1} – 6\lambda^{n-2} \tag{2}
\end{equation}
即
\begin{equation}
\lambda^2 – 5\lambda + 6 = 0 \tag{3}
\end{equation}
$(3)$ 称为特征方程，容易解得 $\lambda = 2$ 或 $\lambda = 3$，于是
\begin{equation}
y_n = c_1 2^n + c_2 3^n \tag{4}
\end{equation}
为了确定 $c_1$ 和 $c_2$，需要结合序列的初始值，假设 $y_0 = 3$ 及 $y_1 = 8$，则由式 $(4)$ 可以得到
\begin{equation}
\begin{cases}
c_1 + c_2 = 3 \\
2c_1 + 3c_2 = 8
\end{cases}
\end{equation}
解得 $c_1 = 1$，$c_2 = 2$。于是式 $(2)$ 所示差分方程的解为
\begin{equation}
y_n = 2^n + 2 \times 3^n \tag{4}
\end{equation}
3. 一般情况
一般地，对于差分方程
\begin{equation}
y_n = a_1 y_{n-1} + a_2 y_{n-2} + \cdots + a_n y_{n-k} \tag{5}
\end{equation}
它的特征方程为
\begin{equation}
\lambda^k – a_1 \lambda^{k-1} – a_2 \lambda^{k-2} – \cdots – a_{k-1} \lambda – a_k = 0
\end{equation}
设特征方程有 $k$ 个实根 $\lambda_1, \lambda_2, \cdots, \lambda_k$，则
\begin{equation}
y_n = c_1 \lambda_1^n + c_2 \lambda_2^n + \cdots + c_n \lambda_k^n
\end{equation}
结合序列的初始值，可以解得 $c_1, c_2, \cdots, c_n$ 的值，从而得到式 $(5)$ 所示差分方程的解。
4. 斐波那契数列
斐波那契数列的递归定义为 $y_n = y_{n-1} + y_{n-2}$，初始值 $y_0 = 1$，$y_1 = 1$。它的特征方程为
\begin{equation}
\lambda^2 – \lambda – 1 = 0
\end{equation}
解得两个实根
\begin{equation}
\lambda_1 = \frac{1 – \sqrt{5}}{2}, \qquad \lambda_2 = \frac{1 + \sqrt{5}}{2},
\end{equation}
于是
\begin{equation}
y_n = c_1 \bigg(\frac{1 – \sqrt{5}}{2}\bigg)^n + c_2 \bigg(\frac{1 + \sqrt{5}}{2}\bigg)^n
\end{equation}
结合初始值，有
\begin{equation}
\begin{cases}
c_1 + c_2 = 1 \\
c_1 \frac{1 – \sqrt{5}}{2} + c_2 \frac{1 + \sqrt{5}}{2} = 1
\end{cases}
\end{equation}
解得
\begin{equation}
c_1 = \frac{5 – \sqrt{5}}{10}, \qquad c_2 = \frac{5 + \sqrt{5}}{10}
\end{equation}
于是得到
\begin{equation}
y_n = \frac{5 – \sqrt{5}}{10} \bigg(\frac{1 – \sqrt{5}}{2}\bigg)^n + \frac{5 + \sqrt{5}} {10}\bigg(\frac{1 + \sqrt{5}}{2}\bigg)^n
\end{equation}
5. 对比微分方程
解差分方程的过程与解微分方程相似，对于微分方程
\begin{equation}
y^{(k)} = a_1 y^{(k-1)} + a_2 y^{(k-2)} + \cdots + a_{k-1}y^{(1)} + a_k
\end{equation}
其解具有 $e^\lambda$ 的形式，特征方程为
\begin{equation}
\lambda^k – a_1 \lambda^{k-1} – \cdots – a_{k-1}\lambda – a_k = 0
\end{equation}