时间序列分析:Yule-Walker 方程举例

1. 例子

  假设有 $\mathrm{MA}(2)$ 过程

\begin{equation}
X_t = \frac{1}{3} X_{t-1} + \frac{1}{2} X_{t-2} + e_t \tag{1}
\end{equation}

其中 $e_t$ 为独立于 $X_{t-k}$($k=1,2,\cdots$)的均值为 $0$、方差为 $\sigma_e^2$ 的白噪声。其特征多项式为

\begin{equation}
\phi(B) = 1 – \frac{1}{3}B – \frac{1}{2}B^2
\end{equation}

特征方方程 $\phi(b) = 0$ 的根为 $\frac{-2 \pm \sqrt{76}}{6}$ 在单位圆外,故式 $(1)$ 所示的过程是平稳的。

  对式 $(1)$ 等号两边取期望,得

\begin{equation}
E(X_t) = \frac{1}{3} E(X_{t-1}) + \frac{1}{2} E(X_{t-2}) + E(e_t)
\end{equation}

令 $E(X_t) = \mu$,有

\begin{equation}
\mu = \frac{1}{3} \mu + \frac{1}{2} \mu + 0
\end{equation}

解得

\begin{equation}
E(X_t) = \mu = 0 \tag{2}
\end{equation}

此时有 $\mathrm{Cov}(X_t, X_s) = E[(X_s – \mu)(X_t – mu)] = E(X_s X_t)$。

  式 $(1)$ 等号两边同乘以 $X_{t-k}$ 并期望,得

\begin{equation}
E(X_t X_{t-k}) = \frac{1}{3}E(X_{t-1}X_{t-k}) + \frac{1}{2}E(X_{t-2}X_{t-k}) + E(e_t X_{t-k})
\end{equation}

其中 $E(e_t X_{t-k}) = E(e_t) E(X_{t-k}) = 0$,故

\begin{equation}
\gamma_k = \frac{1}{3} \gamma_{k-1} + \frac{1}{2} \gamma_{k-2} \tag{3}
\end{equation}

  式 $(3)$ 等号两边同除以 $\gamma_0$,得自相关函数的差分方程

\begin{equation}
\rho_k = \frac{1}{3} \rho_{k-1} + \frac{1}{2} \rho_{k-2} \tag{4}
\end{equation}

  式 $(4)$ 具有 $\lambda^k$ 形式的解,其特征方程

\begin{equation}
\lambda^2 – \frac{1}{3}\lambda – \frac{1}{2} = 0
\end{equation}

解得

\begin{equation}
\lambda_1 = \frac{2 – \sqrt{76}}{12}, \qquad \lambda_2 = \frac{2 + \sqrt{76}}{12}
\end{equation}

于是

\begin{equation}
\rho_k = c_1 \lambda_1^k + c_2 \lambda_2^k = c_1 \bigg(\frac{2 – \sqrt{76}}{12}\bigg)^k + c_2 \bigg(\frac{2 + \sqrt{76}}{12}\bigg)^k \tag{5}
\end{equation}

  为了确定式 $(5)$ 中的 $c_1$ 和 $c_2$,需要结合 $\rho_k$ 的初始条件。由自相关的性质,有 $\rho_0 = 1$,$\rho_k = \rho_{-k}$,于是

\begin{equation}
\rho_1 = \frac{1}{3} \rho_0 + \frac{1}{2} \rho_{-1} = \frac{1}{3} \rho_0 + \frac{1}{2} \rho_{1}
\end{equation}

解得 $\rho_1 = \frac{2}{3}$。

  将 $\rho_0 = 1$,$\rho_1 = \frac{2}{3}$ 代入式 $(5)$,得到

\begin{equation}
\begin{cases}
c_1 + c_2 = 1 \\
c_1 \frac{2 – \sqrt{76}}{12} + c_2 \frac{2 + \sqrt{76}}{12} = \frac{2}{3}
\end{cases}
\end{equation}

解得

\begin{equation}
c_1 = \frac{4 – \sqrt{6}}{8}, \qquad c_2 = \frac{4 + \sqrt{6}}{8}
\end{equation}

代入式 $(5)$,最终得到

\begin{equation}
\rho_k = \frac{4 – \sqrt{6}}{8} \bigg(\frac{2 – \sqrt{76}}{12}\bigg)^k + \frac{4 + \sqrt{6}}{8} \bigg(\frac{2 + \sqrt{76}}{12}\bigg)^k \qquad k \geq 0 \tag{6}
\end{equation}

\begin{equation}
\rho_k = \rho_{-k}
\end{equation}

  模拟式 $(1)$ 所示的过程,并绘制自相关函数如图 1。

set.seed(42)
ar <- arima.sim(n = 500, list(ar = c(1/3, 1/2)))
acf(ar)

图 1

使用式 $(6)$ 计算并绘制自相关函数如图 2。

k = c(0:26)
rho = (4 - 6^.5) / 8 * ((2 - 76^.5) / 12)^k + (4 + 6^.5) / 8 * ((2 + 76^.5) / 12)^k
plot(0:26, rho, type="n")
segments(0:26, 0, 0:26, rho)

图 2

可见二者结果一致。

2. 一般过程

  结合上面的例子,整理通过 Yule-Walker 方程计算自相关函数的一般步骤为:

  1. 确认序列是平稳的。
  2. 在原模型等号两边同乘以 $X_k$,并求期望,得到协方差函数的差分方程。
  3. 协方差函数的差分方程等号两边同除以 $\gamma_0 = \sigma_x^2$,得到自相关函数的差分方程,称为 Yule-Walker 方程。
  4. 求解差分方程。