时间序列分析：自回归滑动平均过程

Author: nex3z 2019-07-14

1. 定义

　　如果序列 $\{X_t\}$ 中有一部分是自回归，另一部分是滑动平均，可以得到

$$\begin{equation} X_t = \phi_1 X_{t-1} + \phi_2 X_{t-2} + \cdots + \phi_p X_{t-p} + e_t + \theta_1 e_{t-1} + \theta_2 e_{t-2} + \cdots + \theta_q e_{t-q} \tag{1} \end{equation}$$

称 $\{X_t\}$ 是一个自回归滑动平均过程，由一个 $AR(p)$ 和一个 $MA(q)$ 组成，记做 $ARMA(p, q)$。

　　式 $(1)$ 也可以写为

$$\begin{equation} X_t – \phi_1 X_{t-1} – \phi_2 X_{t-2} – \cdots – \phi_p X_{t-p} = e_t + \theta_1 e_{t-1} + \theta_2 e_{t-2} + \cdots + \theta_q e_{t-q} \end{equation}$$

即

$$\begin{equation} \phi(B) X_t = \theta(B) e_t \tag{2} \end{equation}$$

其中

$$\begin{equation} \phi(B) = 1 – \phi_1 B – \phi_2 B^2 – \cdots – \phi_p B^p \tag{3} \end{equation}$$

$$\begin{equation} \theta(B) = 1 + \theta_1 B + \theta_2 B^2 – \cdots + \theta_q B^q \tag{4} \end{equation}$$

　　使得过程平稳的 $\{\phi_i\}$ 值满足 $\phi(B) = 0$ 的根在单位圆外；使得过程可逆的 $\{\theta_i\}$ 值满足 $\theta(B) = 0$ 的根在单位圆外。

　　令

$$\begin{equation} \psi(B) = \frac{\theta(B)}{\phi(B)} = \sum_{i \geq 1} \psi_i B^i \tag{5} \end{equation}$$

则式 $(1)$ 描述的 $ARMA$ 过程可以表示为纯 $MA$ 过程

$$\begin{equation} X_t = \psi(B) e_t \tag{6} \end{equation}$$

即

$$\begin{equation} X_t = \sum_{i=0}^\infty \psi_j e_{t-i} \tag{7} \end{equation}$$

　　令

$$\begin{equation} \pi(B) = \frac{\phi(B)}{\theta(B)} = 1 + \sum_{i \geq 1} \pi_i B^i \tag{8} \end{equation}$$

则式 $(1)$ 描述的 $ARMA$ 过程可以表示为纯 $AR$ 过程

$$\begin{equation} \pi(B) X_t = e_t \tag{10} \end{equation}$$

即

$$\begin{equation} \sum_{i=0}^\infty \pi_i X_{t-i} = e_t \tag{11} \end{equation}$$

2. $ARMA(1, 1)$ 过程

　　由式 $(1)$，易知 $ARMA(1, 1)$ 过程为

$$\begin{equation} X_t = \phi X_{t-1} + e_t – \theta e_{t-1} \tag{12} \end{equation}$$

上式中的 $\phi$ 和 $\theta$ 参数各有一个，省略了角标。假设过程具有零均值，$e_t$ 是均值为零、方差为 $\sigma_e^2$ 的白噪声。

　　在式 $(12)$ 等号两边同乘以 $X_t$ 并求期望，得

$$\begin{equation} \gamma_0 = E(\phi X_{t-1} X_t) + E(e_t X_t) – E(\theta e_{t-1} X_t) \end{equation}$$

其中

$$\begin{equation} E(e_t X_t) = E[e_t (\phi X_{t-1} + e_t – \theta e_{t-1})] = E(e_t e_t) = \sigma_e^2 \end{equation}$$

$$\begin{equation} E(e_{t-1} X_t) = E[e_{t-1} (\phi X_{t-1} + e_t – \theta e_{t-1})] = \phi E(e_{t-1} X_{t-1}) – \theta E(e_{t-1} e_{t-1}) = (\phi – \theta) \sigma_e^2 \end{equation}$$

于是

$$\begin{equation} \gamma_0 = \phi\gamma_1 + \sigma_e^2 + \theta (\phi – \theta) \sigma_e^2 \tag{13} \end{equation}$$

　　类似地，可以得到

$$\begin{equation} \gamma_1 = \phi\gamma_0 – \theta \sigma_e^2 \tag{14} \end{equation}$$

$$\begin{equation} \gamma_k = \phi \gamma_{k-1}, k \geq 2\tag{15} \end{equation}$$

　　求解式 $(13)$、$(14)$ 构成的方程组，得到

$$\begin{equation} \gamma_0 = \frac{1 – 2\phi\theta + \theta^2}{1 – \phi^2} \sigma_e^2 \end{equation}$$

由式 $(8)$ 得到

$$\begin{equation} \rho_k = \phi \rho_{k-1} = \frac{(1 – \theta\phi)(\phi – \theta)}{1 – 2\theta\phi + \theta^2}\phi^{k-1}, k \geq 1 \tag{16} \end{equation}$$

可见随着滞后 $k$ 的增加，自相关函数呈指数递减，阻尼因子是 $\phi$。递减开始于初始值 $\rho_1$，$\rho_1$ 的值依赖于 $\theta$。注意在 $AR(1)$ 中，$AR(1)$ 的自相关函数也呈指数递减，递减开始于初始值 $\rho_0 = 1$。

3. 将 $ARMA$ 过程转换成纯 $MA$ 过程和纯 $AR$ 过程

　　当 $ARMA$ 过程平稳且可逆时，式 $(6)$ 和式 $(10)$ 给出了将 $ARMA$ 过程转换成纯 $MA$ 过程和纯 $AR$ 过程的方法。

　　举例来说，对于 $ARMA(1, 1)$ 过程

$$\begin{equation} X_t = -0.4 X_{t-1} + e_t + 0.2 e_{t-1} \end{equation}$$

有

$$\begin{equation} \phi(B) = 1 + 0.4B \\ \theta(B) = 1 + 0.2B \end{equation}$$

可见 $\phi(B) = 0$ 和 $\theta(B) = 0$ 的根都在单位圆外，过程是平稳且可逆的。

　　为了将 $ARMA$ 过程转换成纯 $MA$，计算

$$\begin{align} \psi(B) &= \frac{\theta(B)}{\phi(B)} = \frac{1 + 0.2B}{1 + 0.4B} \\ &= (1 + 0.2B)[1 + (-0.4)B + (-0.4)^2B^2 + (-0.4)^3B^3 + \cdots] \qquad 几何级数 \\ &= 1 + (0.2-0.4)B + (0.2-0.4)\times(-0.4)B^2 + (0.2-0.4)\times(-0.4)^2B^3 + \cdots \end{align}$$

可得

$$\begin{equation} \psi_i = (0.2-0.4) \times (-0.4)^{i-1} = -0.2 \times (-0.4)^{i-1}, \qquad i = 1, 2, \cdots \end{equation}$$

　　类似地，为了将 $ARMA$ 过程转换成纯 $AR$，计算

$$\begin{align} \pi(B) &= \frac{\phi(B)}{\theta(B)} = \frac{1 + 0.4B}{1 + 0.2B} \\ &= (1 + 0.4B)[1 + (-0.2)B + (-0.2)^2B^2 + (-0.2)^3B^3 + \cdots] \qquad 几何级数 \\ &= 1 + (0.4-0.2)B + (0.4-0.2)\times(-0.2)B^2 + (0.4-0.2)\times(-0.2)^2B^3 \cdots \end{align}$$

可得

$$\begin{equation} \pi_i = (0.4-0.2) \times (-0.2)^{i-1} = 0.2 \times (-0.2)^{i-1} \end{equation}$$

　　可见 $\psi_i$ 和 $\pi_i$ 都随着 $i$ 的增加而呈指数递减。