时间序列分析：Yule-Walker 方程举例
1. 例子
假设有 $\mathrm{MA}(2)$ 过程
\begin{equation}
X_t = \frac{1}{3} X_{t-1} + \frac{1}{2} X_{t-2} + e_t \tag{1}
\end{equation}
其中 $e_t$ 为独立于 $X_{t-k}$（$k=1,2,\cdots$）的均值为 $0$、方差为 $\sigma_e^2$ 的白噪声。其特征多项式为
\begin{equation}
\phi(B) = 1 – \frac{1}{3}B – \frac{1}{2}B^2
\end{equation}
特征方方程 $\phi(b) = 0$ 的根为 $\frac{-2 \pm \sqrt{76}}{6}$ 在单位圆外，故式 $(1)$ 所示的过程是平稳的。
对式 $(1)$ 等号两边取期望，得
\begin{equation}
E(X_t) = \frac{1}{3} E(X_{t-1}) + \frac{1}{2} E(X_{t-2}) + E(e_t)
\end{equation}
令 $E(X_t) = \mu$，有
\begin{equation}
\mu = \frac{1}{3} \mu + \frac{1}{2} \mu + 0
\end{equation}
解得
\begin{equation}
E(X_t) = \mu = 0 \tag{2}
\end{equation}
此时有 $\mathrm{Cov}(X_t, X_s) = E[(X_s – \mu)(X_t – mu)] = E(X_s X_t)$。
式 $(1)$ 等号两边同乘以 $X_{t-k}$ 并期望，得
\begin{equation}
E(X_t X_{t-k}) = \frac{1}{3}E(X_{t-1}X_{t-k}) + \frac{1}{2}E(X_{t-2}X_{t-k}) + E(e_t X_{t-k})
\end{equation}
其中 $E(e_t X_{t-k}) = E(e_t) E(X_{t-k}) = 0$，故
\begin{equation}
\gamma_k = \frac{1}{3} \gamma_{k-1} + \frac{1}{2} \gamma_{k-2} \tag{3}
\end{equation}
式 $(3)$ 等号两边同除以 $\gamma_0$，得自相关函数的差分方程
\begin{equation}
\rho_k = \frac{1}{3} \rho_{k-1} + \frac{1}{2} \rho_{k-2} \tag{4}
\end{equation}
式 $(4)$ 具有 $\lambda^k$ 形式的解，其特征方程
\begin{equation}
\lambda^2 – \frac{1}{3}\lambda – \frac{1}{2} = 0
\end{equation}
解得
\begin{equation}
\lambda_1 = \frac{2 – \sqrt{76}}{12}, \qquad \lambda_2 = \frac{2 + \sqrt{76}}{12}
\end{equation}
于是
\begin{equation}
\rho_k = c_1 \lambda_1^k + c_2 \lambda_2^k = c_1 \bigg(\frac{2 – \sqrt{76}}{12}\bigg)^k + c_2 \bigg(\frac{2 + \sqrt{76}}{12}\bigg)^k \tag{5}
\end{equation}
为了确定式 $(5)$ 中的 $c_1$ 和 $c_2$，需要结合 $\rho_k$ 的初始条件。由自相关的性质，有 $\rho_0 = 1$，$\rho_k = \rho_{-k}$，于是
\begin{equation}
\rho_1 = \frac{1}{3} \rho_0 + \frac{1}{2} \rho_{-1} = \frac{1}{3} \rho_0 + \frac{1}{2} \rho_{1}
\end{equation}
解得 $\rho_1 = \frac{2}{3}$。
将 $\rho_0 = 1$，$\rho_1 = \frac{2}{3}$ 代入式 $(5)$，得到
\begin{equation}
\begin{cases}
c_1 + c_2 = 1 \\
c_1 \frac{2 – \sqrt{76}}{12} + c_2 \frac{2 + \sqrt{76}}{12} = \frac{2}{3}
\end{cases}
\end{equation}
解得
\begin{equation}
c_1 = \frac{4 – \sqrt{6}}{8}, \qquad c_2 = \frac{4 + \sqrt{6}}{8}
\end{equation}
代入式 $(5)$，最终得到
\begin{equation}
\rho_k = \frac{4 – \sqrt{6}}{8} \bigg(\frac{2 – \sqrt{76}}{12}\bigg)^k + \frac{4 + \sqrt{6}}{8} \bigg(\frac{2 + \sqrt{76}}{12}\bigg)^k \qquad k \geq 0 \tag{6}
\end{equation}
及
\begin{equation}
\rho_k = \rho_{-k}
\end{equation}
模拟式 $(1)$ 所示的过程，并绘制自相关函数如图 1。
set.seed(42) ar <- arima.sim(n = 500, list(ar = c(1/3, 1/2))) acf(ar)
图 1
使用式 $(6)$ 计算并绘制自相关函数如图 2。
k = c(0:26) rho = (4 - 6^.5) / 8 * ((2 - 76^.5) / 12)^k + (4 + 6^.5) / 8 * ((2 + 76^.5) / 12)^k plot(0:26, rho, type="n") segments(0:26, 0, 0:26, rho)
图 2
可见二者结果一致。
2. 一般过程
结合上面的例子，整理通过 Yule-Walker 方程计算自相关函数的一般步骤为：
- 确认序列是平稳的。
- 在原模型等号两边同乘以 $X_k$，并求期望，得到协方差函数的差分方程。
- 协方差函数的差分方程等号两边同除以 $\gamma_0 = \sigma_x^2$，得到自相关函数的差分方程，称为 Yule-Walker 方程。
- 求解差分方程。