时间序列分析：Yule-Walker 方程举例

Author: nex3z 2019-07-20

1. 例子

　　假设有 $\mathrm{MA}(2)$ 过程

$$\begin{equation} X_t = \frac{1}{3} X_{t-1} + \frac{1}{2} X_{t-2} + e_t \tag{1} \end{equation}$$

其中 $e_t$ 为独立于 $X_{t-k}$（$k=1,2,\cdots$）的均值为 $0$、方差为 $\sigma_e^2$ 的白噪声。其特征多项式为

$$\begin{equation} \phi(B) = 1 – \frac{1}{3}B – \frac{1}{2}B^2 \end{equation}$$

特征方方程 $\phi(b) = 0$ 的根为 $\frac{-2 \pm \sqrt{76}}{6}$ 在单位圆外，故式 $(1)$ 所示的过程是平稳的。

　　对式 $(1)$ 等号两边取期望，得

$$\begin{equation} E(X_t) = \frac{1}{3} E(X_{t-1}) + \frac{1}{2} E(X_{t-2}) + E(e_t) \end{equation}$$

令 $E(X_t) = \mu$，有

$$\begin{equation} \mu = \frac{1}{3} \mu + \frac{1}{2} \mu + 0 \end{equation}$$

解得

$$\begin{equation} E(X_t) = \mu = 0 \tag{2} \end{equation}$$

此时有 $\mathrm{Cov}(X_t, X_s) = E[(X_s – \mu)(X_t – mu)] = E(X_s X_t)$。

　　式 $(1)$ 等号两边同乘以 $X_{t-k}$ 并期望，得

$$\begin{equation} E(X_t X_{t-k}) = \frac{1}{3}E(X_{t-1}X_{t-k}) + \frac{1}{2}E(X_{t-2}X_{t-k}) + E(e_t X_{t-k}) \end{equation}$$

其中 $E(e_t X_{t-k}) = E(e_t) E(X_{t-k}) = 0$，故

$$\begin{equation} \gamma_k = \frac{1}{3} \gamma_{k-1} + \frac{1}{2} \gamma_{k-2} \tag{3} \end{equation}$$

　　式 $(3)$ 等号两边同除以 $\gamma_0$，得自相关函数的差分方程

$$\begin{equation} \rho_k = \frac{1}{3} \rho_{k-1} + \frac{1}{2} \rho_{k-2} \tag{4} \end{equation}$$

　　式 $(4)$ 具有 $\lambda^k$ 形式的解，其特征方程

$$\begin{equation} \lambda^2 – \frac{1}{3}\lambda – \frac{1}{2} = 0 \end{equation}$$

解得

$$\begin{equation} \lambda_1 = \frac{2 – \sqrt{76}}{12}, \qquad \lambda_2 = \frac{2 + \sqrt{76}}{12} \end{equation}$$

于是

$$\begin{equation} \rho_k = c_1 \lambda_1^k + c_2 \lambda_2^k = c_1 \bigg(\frac{2 – \sqrt{76}}{12}\bigg)^k + c_2 \bigg(\frac{2 + \sqrt{76}}{12}\bigg)^k \tag{5} \end{equation}$$

　　为了确定式 $(5)$ 中的 $c_1$ 和 $c_2$，需要结合 $\rho_k$ 的初始条件。由自相关的性质，有 $\rho_0 = 1$，$\rho_k = \rho_{-k}$，于是

$$\begin{equation} \rho_1 = \frac{1}{3} \rho_0 + \frac{1}{2} \rho_{-1} = \frac{1}{3} \rho_0 + \frac{1}{2} \rho_{1} \end{equation}$$

解得 $\rho_1 = \frac{2}{3}$。

　　将 $\rho_0 = 1$，$\rho_1 = \frac{2}{3}$ 代入式 $(5)$，得到

$$\begin{equation} \begin{cases} c_1 + c_2 = 1 \\ c_1 \frac{2 – \sqrt{76}}{12} + c_2 \frac{2 + \sqrt{76}}{12} = \frac{2}{3} \end{cases} \end{equation}$$

解得

$$\begin{equation} c_1 = \frac{4 – \sqrt{6}}{8}, \qquad c_2 = \frac{4 + \sqrt{6}}{8} \end{equation}$$

代入式 $(5)$，最终得到

$$\begin{equation} \rho_k = \frac{4 – \sqrt{6}}{8} \bigg(\frac{2 – \sqrt{76}}{12}\bigg)^k + \frac{4 + \sqrt{6}}{8} \bigg(\frac{2 + \sqrt{76}}{12}\bigg)^k \qquad k \geq 0 \tag{6} \end{equation}$$

及

$$\begin{equation} \rho_k = \rho_{-k} \end{equation}$$

　　模拟式 $(1)$ 所示的过程，并绘制自相关函数如图 1。

set.seed(42)
ar <- arima.sim(n = 500, list(ar = c(1/3, 1/2)))
acf(ar)

使用式 $(6)$ 计算并绘制自相关函数如图 2。

k = c(0:26)
rho = (4 - 6^.5) / 8 * ((2 - 76^.5) / 12)^k + (4 + 6^.5) / 8 * ((2 + 76^.5) / 12)^k
plot(0:26, rho, type="n")
segments(0:26, 0, 0:26, rho)

可见二者结果一致。

2. 一般过程

　　结合上面的例子，整理通过 Yule-Walker 方程计算自相关函数的一般步骤为：

1. 确认序列是平稳的。
2. 在原模型等号两边同乘以 $X_k$，并求期望，得到协方差函数的差分方程。
3. 协方差函数的差分方程等号两边同除以 $\gamma_0 = \sigma_x^2$，得到自相关函数的差分方程，称为 Yule-Walker 方程。
4. 求解差分方程。