时间序列分析：一阶自回归过程

Author: nex3z 2019-07-13

1. 自回归过程

　　自回归过程使用自身作为回归变量，定义

$$\begin{equation} X_t = \phi_1 X_{t-1} + \phi_2 X_{t-2} +\cdots + \phi_p X_{t-p} + e_t \tag{1} \end{equation}$$

为 $p$ 阶自回归过程（Autoregressive Process），记做 $AR(p)$。序列 $X_t$ 的当前值由自身最近的 $p$ 阶滞后项和新息项 $e_t$ 的线性组合，其中 $e_t$ 包含了序列在 $t$ 时刻无法用历史值解释的所有新信息，因此对于每一个 $t$，假设 $e_t$ 独立于 $X_{t-1}, X_{t-2}, \cdots$。

　　将式 $(1)$ 中等号右边的 $X$ 项移到等号左边，得到

$$\begin{equation} X_t – \phi_1 X_{t-1} + \phi_2 X_{t-2} +\cdots + \phi_p X_{t-p} = e_t \end{equation}$$

即

$$\begin{equation} \phi(B) X_t = e_t \tag{2} \end{equation}$$

其中

$$\begin{equation} \phi(B) = 1 – \phi_1 B – \phi_2 B^p – \cdots – \phi_p B^p \tag{3} \end{equation}$$

　　将 $B$ 看做一个复变量，$\theta(B) = 0$ 称为该模型的特征方程。

2. 一阶自回归过程

2.1. 定义

　　一阶自回归过程 $AR(1)$ 的表达式为 $X_t = \phi_1 X_{t-1} + e_t$，由于只有一个参数 $\phi_1$，方便起见去掉其下标 1，写为

$$\begin{equation} X_t = \phi X_{t-1} + e_t \tag{4} \end{equation}$$

假设序列的均值为零，$e_t$ 的方差为 $\sigma_e^2$。

　　对式 $(4)$ 等号两边求方差，得到

$$\begin{equation} \gamma_0 = \phi^2 \gamma_0 + \sigma_e^2 \end{equation}$$

可以解得

$$\begin{equation} \gamma_0 = \frac{\sigma_e^2}{1 – \phi^2} \tag{5} \end{equation}$$

得到隐含条件 $\phi^2 <1$ 或 $|\phi| < 1$。

　　对式 $(4)$ 等号两边同乘以 $X_{t-k}$（$k = 1, 2, \cdots$），并求期望，得

$$\begin{equation} E(X_{t-k} X_t) = \phi E(X_{t-k}X_{t-1}) + E(e_t X_{t-k}) \end{equation}$$

即

$$\begin{equation} \gamma_k = \phi \gamma_{k-1} + E(e_t X_{t-k}) \tag{6} \end{equation}$$

对于 $E(e_t X_{t-k})$，由于 $\{X_t\}$ 具有零均值，且 $e_t$ 独立于 $X_{t-k}$，有

$$\begin{equation} E(e_t X_{t-k}) = E(e_t) E(X_{t-k}) = 0 \end{equation}$$

将上式带入式 $(6)$，得

$$\begin{equation} \gamma_k = \phi \gamma_{k-1}, \qquad k = 1, 2, 3, \cdots \tag{7} \end{equation}$$

分别令 $k = 1$ 和 $k = 2$，带入上式，得到

$$\begin{equation} \gamma_1 = \phi \gamma_0 = \phi \frac{\sigma_e^2}{1 – \phi^2} \end{equation}$$

$$\begin{equation} \gamma_2 = \phi \gamma_1 = \phi^2 \frac{\sigma_e^2}{1 – \phi^2} \end{equation}$$

一般地，有

$$\begin{equation} \gamma_k = \phi^k \frac{\sigma_e^2}{1 – \phi^2} \tag{8} \end{equation}$$

　　进一步地，得到自相关函数

$$\begin{equation} \rho_k = \frac{\gamma_k}{\gamma_0} = \phi^k, \qquad k = 1, 2, 3, \cdots \tag{9} \end{equation}$$

　　因为 $|\phi| < 1$，由式 $(9)$ 可知，随着滞后长度 $k$ 的增加，自相关函数的值呈指数递减。若 $0 < \phi < 1$，则自相关函数为正；若 $-1 < \phi < 0$，则自相关函数的符号在 $k = 1$ 时为负，并随着滞后长度 $k$ 的增加而正负交替。

　　由式 $(9)$ 还可以看出，当 $\phi$ 在 $\pm 1$ 附近时，指数递减得很慢，此时序列具有强自相关性，且强自相关会持续很多期。对于绝对值较小的 $\phi$，递减的速度相当快。

2.2. 模拟

　　模拟 $\theta = 0.8$ 的 $AR(1)$ 过程并绘制自相关图像如图 1、图 2 所示。

set.seed(42)
e <- rnorm(100)
ar_1 <- c(e[1])
for(i in 2:100) {
  ar_1[i] <- 0.8 * ar_1[i - 1] + e[i]
}
plot.ts(ar_1, type='o', ylab='AR(1)')

图 1

acf(ar_1)

图 2

　　由图 1 可见序列存在很大的惯性，看上去似乎存在趋势，但实际上理论均值在所有时间上均为零，具有趋势的错觉是因为序列的相邻时刻具有很强的自相关。

2.3. $AR(1)$ 的一般线性过程表示

　　对于式 $(4)$ 描述的 $AR(1)$ 过程，在 $t – 1$ 时刻，有 $X_{t-1} = \phi X_{t-2} + e_{t-1}$，将此式带入式 $(4)$，得到

$$\begin{equation} X_t = \phi(\phi X_{t-2} + e_{t-1}) = e_t + \phi e_{t – 1} + \phi^2 X_{t-2} \end{equation}$$

像上面那样替换滞后项的操作可以无限进行下去，假设 $|\phi| <1$，令 $k \rightarrow \infty$，得到无穷级数表达式

$$\begin{equation} X_t = \phi(\phi X_{t-2} + e_{t-1}) = e_t + \phi e_{t – 1} + \phi^2 e_{t-2} + \phi^3 e_{t-3} + \cdots \tag{10} \end{equation}$$

这也是式 $(4)$ 的一般线性过程表达式，对比前文式 $(1)$，此时 $\psi_j = \phi^j$。这里的 $AR(1)$ 过程类似于前文中一般线性过程的指数递减的形式。

2.4. $AR(1)$ 过程的平稳性

　　可以证明，在 $e_t$ 独立于 $X_{t-1}, X_{t-2}, \cdots$ 和 $\sigma_e^2 > 0$ 的条件下，当且仅当 $|\phi| < 1$ 时，$AR(1)$ 的递归定义 $X_t = \phi X_{t-1} + e_t$ 的解是平稳的。$|\phi| < 1$ 称为 $AR(1)$ 过程的平稳条件。

2.5. $AR(1)$ 过程自相关函数的求法

　　由于 $AR(1)$ 与前文中一般线性过程的指数递减的形式相似，可以使用前文式 $(6)$ 的方法计算 $AR(1)$ 过程自相关函数的求法。另外，本文中的式 $(6)$、$(7)$、$(8)$ 使用 $AR(1)$ 的递归定义推导出其自相关函数，这种方法更容易推广到高阶过程。最后，还可以通过式 $(10)$ 等号两边同乘以 $X_{t-k}$ 并求期望来计算自相关函数。