时间序列分析:自回归滑动平均过程

1. 定义

  如果序列 $\{X_t\}$ 中有一部分是自回归,另一部分是滑动平均,可以得到

\begin{equation}
X_t = \phi_1 X_{t-1} + \phi_2 X_{t-2} + \cdots + \phi_p X_{t-p} + e_t + \theta_1 e_{t-1} + \theta_2 e_{t-2} + \cdots + \theta_q e_{t-q} \tag{1}
\end{equation}

称 $\{X_t\}$ 是一个自回归滑动平均过程,由一个 $AR(p)$ 和一个 $MA(q)$ 组成,记做 $ARMA(p, q)$。

  式 $(1)$ 也可以写为

\begin{equation}
X_t – \phi_1 X_{t-1} – \phi_2 X_{t-2} – \cdots – \phi_p X_{t-p} = e_t + \theta_1 e_{t-1} + \theta_2 e_{t-2} + \cdots + \theta_q e_{t-q}
\end{equation}

\begin{equation}
\phi(B) X_t = \theta(B) e_t \tag{2}
\end{equation}

其中

\begin{equation}
\phi(B) = 1 – \phi_1 B – \phi_2 B^2 – \cdots – \phi_p B^p \tag{3}
\end{equation}

\begin{equation}
\theta(B) = 1 + \theta_1 B + \theta_2 B^2 – \cdots + \theta_q B^q \tag{4}
\end{equation}

  使得过程平稳的 $\{\phi_i\}$ 值满足 $\phi(B) = 0$ 的根在单位圆外;使得过程可逆的 $\{\theta_i\}$ 值满足 $\theta(B) = 0$ 的根在单位圆外。

  令

\begin{equation}
\psi(B) = \frac{\theta(B)}{\phi(B)} = \sum_{i \geq 1} \psi_i B^i \tag{5}
\end{equation}

则式 $(1)$ 描述的 $ARMA$ 过程可以表示为纯 $MA$ 过程

\begin{equation}
X_t = \psi(B) e_t \tag{6}
\end{equation}

\begin{equation}
X_t = \sum_{i=0}^\infty \psi_j e_{t-i} \tag{7}
\end{equation}

  令

\begin{equation}
\pi(B) = \frac{\phi(B)}{\theta(B)} = 1 + \sum_{i \geq 1} \pi_i B^i \tag{8}
\end{equation}

则式 $(1)$ 描述的 $ARMA$ 过程可以表示为纯 $AR$ 过程

\begin{equation}
\pi(B) X_t = e_t \tag{10}
\end{equation}

\begin{equation}
\sum_{i=0}^\infty \pi_i X_{t-i} = e_t \tag{11}
\end{equation}

2. $ARMA(1, 1)$ 过程

  由式 $(1)$,易知 $ARMA(1, 1)$ 过程为

\begin{equation}
X_t = \phi X_{t-1} + e_t – \theta e_{t-1} \tag{12}
\end{equation}

上式中的 $\phi$ 和 $\theta$ 参数各有一个,省略了角标。假设过程具有零均值,$e_t$ 是均值为零、方差为 $\sigma_e^2$ 的白噪声。

  在式 $(12)$ 等号两边同乘以 $X_t$ 并求期望,得

\begin{equation}
\gamma_0 = E(\phi X_{t-1} X_t) + E(e_t X_t) – E(\theta e_{t-1} X_t)
\end{equation}

其中

\begin{equation}
E(e_t X_t) = E[e_t (\phi X_{t-1} + e_t – \theta e_{t-1})] = E(e_t e_t) = \sigma_e^2
\end{equation}

\begin{equation}
E(e_{t-1} X_t) = E[e_{t-1} (\phi X_{t-1} + e_t – \theta e_{t-1})] = \phi E(e_{t-1} X_{t-1}) – \theta E(e_{t-1} e_{t-1}) = (\phi – \theta) \sigma_e^2
\end{equation}

于是

\begin{equation}
\gamma_0 = \phi\gamma_1 + \sigma_e^2 + \theta (\phi – \theta) \sigma_e^2 \tag{13}
\end{equation}

  类似地,可以得到

\begin{equation}
\gamma_1 = \phi\gamma_0 – \theta \sigma_e^2 \tag{14}
\end{equation}

\begin{equation}
\gamma_k = \phi \gamma_{k-1}, k \geq 2\tag{15}
\end{equation}

  求解式 $(13)$、$(14)$ 构成的方程组,得到

\begin{equation}
\gamma_0 = \frac{1 – 2\phi\theta + \theta^2}{1 – \phi^2} \sigma_e^2
\end{equation}

由式 $(8)$ 得到

\begin{equation}
\rho_k = \phi \rho_{k-1} = \frac{(1 – \theta\phi)(\phi – \theta)}{1 – 2\theta\phi + \theta^2}\phi^{k-1}, k \geq 1 \tag{16}
\end{equation}

可见随着滞后 $k$ 的增加,自相关函数呈指数递减,阻尼因子是 $\phi$。递减开始于初始值 $\rho_1$,$\rho_1$ 的值依赖于 $\theta$。注意在 $AR(1)$ 中,$AR(1)$ 的自相关函数也呈指数递减,递减开始于初始值 $\rho_0 = 1$。

3. 将 $ARMA$ 过程转换成纯 $MA$ 过程和纯 $AR$ 过程

  当 $ARMA$ 过程平稳且可逆时,式 $(6)$ 和式 $(10)$ 给出了将 $ARMA$ 过程转换成纯 $MA$ 过程和纯 $AR$ 过程的方法。

  举例来说,对于 $ARMA(1, 1)$ 过程

\begin{equation}
X_t = -0.4 X_{t-1} + e_t + 0.2 e_{t-1}
\end{equation}

\begin{equation}
\phi(B) = 1 + 0.4B \\
\theta(B) = 1 + 0.2B
\end{equation}

可见 $\phi(B) = 0$ 和 $\theta(B) = 0$ 的根都在单位圆外,过程是平稳且可逆的。

  为了将 $ARMA$ 过程转换成纯 $MA$,计算

\begin{align}
\psi(B) &= \frac{\theta(B)}{\phi(B)} = \frac{1 + 0.2B}{1 + 0.4B} \\
&= (1 + 0.2B)[1 + (-0.4)B + (-0.4)^2B^2 + (-0.4)^3B^3 + \cdots] \qquad 几何级数 \\
&= 1 + (0.2-0.4)B + (0.2-0.4)\times(-0.4)B^2 + (0.2-0.4)\times(-0.4)^2B^3 + \cdots
\end{align}

可得

\begin{equation}
\psi_i = (0.2-0.4) \times (-0.4)^{i-1} = -0.2 \times (-0.4)^{i-1}, \qquad i = 1, 2, \cdots
\end{equation}

  类似地,为了将 $ARMA$ 过程转换成纯 $AR$,计算

\begin{align}
\pi(B) &= \frac{\phi(B)}{\theta(B)} = \frac{1 + 0.4B}{1 + 0.2B} \\
&= (1 + 0.4B)[1 + (-0.2)B + (-0.2)^2B^2 + (-0.2)^3B^3 + \cdots] \qquad 几何级数 \\
&= 1 + (0.4-0.2)B + (0.4-0.2)\times(-0.2)B^2 + (0.4-0.2)\times(-0.2)^2B^3 \cdots
\end{align}

可得

\begin{equation}
\pi_i = (0.4-0.2) \times (-0.2)^{i-1} = 0.2 \times (-0.2)^{i-1}
\end{equation}

  可见 $\psi_i$ 和 $\pi_i$ 都随着 $i$ 的增加而呈指数递减。