时间序列分析:一阶自回归过程

1. 自回归过程

  自回归过程使用自身作为回归变量,定义

\begin{equation}
X_t = \phi_1 X_{t-1} + \phi_2 X_{t-2} +\cdots + \phi_p X_{t-p} + e_t \tag{1}
\end{equation}

$p$ 阶自回归过程(Autoregressive Process),记做 $AR(p)$。序列 $X_t$ 的当前值由自身最近的 $p$ 阶滞后项和新息项 $e_t$ 的线性组合,其中 $e_t$ 包含了序列在 $t$ 时刻无法用历史值解释的所有新信息,因此对于每一个 $t$,假设 $e_t$ 独立于 $X_{t-1}, X_{t-2}, \cdots$。

  将式 $(1)$ 中等号右边的 $X$ 项移到等号左边,得到

\begin{equation}
X_t – \phi_1 X_{t-1} + \phi_2 X_{t-2} +\cdots + \phi_p X_{t-p} = e_t
\end{equation}

\begin{equation}
\phi(B) X_t = e_t \tag{2}
\end{equation}

其中

\begin{equation}
\phi(B) = 1 – \phi_1 B – \phi_2 B^p – \cdots – \phi_p B^p \tag{3}
\end{equation}

  将 $B$ 看做一个复变量,$\theta(B) = 0$ 称为该模型的特征方程。

2. 一阶自回归过程

2.1. 定义

  一阶自回归过程 $AR(1)$ 的表达式为 $X_t = \phi_1 X_{t-1} + e_t$,由于只有一个参数 $\phi_1$,方便起见去掉其下标 1,写为

\begin{equation}
X_t = \phi X_{t-1} + e_t \tag{4}
\end{equation}

假设序列的均值为零,$e_t$ 的方差为 $\sigma_e^2$。

  对式 $(4)$ 等号两边求方差,得到

\begin{equation}
\gamma_0 = \phi^2 \gamma_0 + \sigma_e^2
\end{equation}

可以解得

\begin{equation}
\gamma_0 = \frac{\sigma_e^2}{1 – \phi^2} \tag{5}
\end{equation}

得到隐含条件 $\phi^2 <1$ 或 $|\phi| < 1$。

  对式 $(4)$ 等号两边同乘以 $X_{t-k}$($k = 1, 2, \cdots$),并求期望,得

\begin{equation}
E(X_{t-k} X_t) = \phi E(X_{t-k}X_{t-1}) + E(e_t X_{t-k})
\end{equation}

\begin{equation}
\gamma_k = \phi \gamma_{k-1} + E(e_t X_{t-k}) \tag{6}
\end{equation}

对于 $E(e_t X_{t-k})$,由于 $\{X_t\}$ 具有零均值,且 $e_t$ 独立于 $X_{t-k}$,有

\begin{equation}
E(e_t X_{t-k}) = E(e_t) E(X_{t-k}) = 0
\end{equation}

将上式带入式 $(6)$,得

\begin{equation}
\gamma_k = \phi \gamma_{k-1}, \qquad k = 1, 2, 3, \cdots \tag{7}
\end{equation}

分别令 $k = 1$ 和 $k = 2$,带入上式,得到

\begin{equation}
\gamma_1 = \phi \gamma_0 = \phi \frac{\sigma_e^2}{1 – \phi^2}
\end{equation}

\begin{equation}
\gamma_2 = \phi \gamma_1 = \phi^2 \frac{\sigma_e^2}{1 – \phi^2}
\end{equation}

一般地,有

\begin{equation}
\gamma_k = \phi^k \frac{\sigma_e^2}{1 – \phi^2} \tag{8}
\end{equation}

  进一步地,得到自相关函数

\begin{equation}
\rho_k = \frac{\gamma_k}{\gamma_0} = \phi^k, \qquad k = 1, 2, 3, \cdots \tag{9}
\end{equation}

  因为 $|\phi| < 1$,由式 $(9)$ 可知,随着滞后长度 $k$ 的增加,自相关函数的值呈指数递减。若 $0 < \phi < 1$,则自相关函数为正;若 $-1 < \phi < 0$,则自相关函数的符号在 $k = 1$ 时为负,并随着滞后长度 $k$ 的增加而正负交替。

  由式 $(9)$ 还可以看出,当 $\phi$ 在 $\pm 1$ 附近时,指数递减得很慢,此时序列具有强自相关性,且强自相关会持续很多期。对于绝对值较小的 $\phi$,递减的速度相当快。

2.2. 模拟

  模拟 $\theta = 0.8$ 的 $AR(1)$ 过程并绘制自相关图像如图 1、图 2 所示。

set.seed(42)
e <- rnorm(100)
ar_1 <- c(e[1])
for(i in 2:100) {
  ar_1[i] <- 0.8 * ar_1[i - 1] + e[i]
}
plot.ts(ar_1, type='o', ylab='AR(1)')

图 1

acf(ar_1)

图 2

  由图 1 可见序列存在很大的惯性,看上去似乎存在趋势,但实际上理论均值在所有时间上均为零,具有趋势的错觉是因为序列的相邻时刻具有很强的自相关。

2.3. $AR(1)$ 的一般线性过程表示

  对于式 $(4)$ 描述的 $AR(1)$ 过程,在 $t – 1$ 时刻,有 $X_{t-1} = \phi X_{t-2} + e_{t-1}$,将此式带入式 $(4)$,得到

\begin{equation}
X_t = \phi(\phi X_{t-2} + e_{t-1}) = e_t + \phi e_{t – 1} + \phi^2 X_{t-2}
\end{equation}

像上面那样替换滞后项的操作可以无限进行下去,假设 $|\phi| <1$,令 $k \rightarrow \infty$,得到无穷级数表达式

\begin{equation}
X_t = \phi(\phi X_{t-2} + e_{t-1}) = e_t + \phi e_{t – 1} + \phi^2 e_{t-2} + \phi^3 e_{t-3} + \cdots \tag{10}
\end{equation}

这也是式 $(4)$ 的一般线性过程表达式,对比前文式 $(1)$,此时 $\psi_j = \phi^j$。这里的 $AR(1)$ 过程类似于前文中一般线性过程的指数递减的形式。

2.4. $AR(1)$ 过程的平稳性

  可以证明,在 $e_t$ 独立于 $X_{t-1}, X_{t-2}, \cdots$ 和 $\sigma_e^2 > 0$ 的条件下,当且仅当 $|\phi| < 1$ 时,$AR(1)$ 的递归定义 $X_t = \phi X_{t-1} + e_t$ 的解是平稳的。$|\phi| < 1$ 称为 $AR(1)$ 过程的平稳条件。

2.5. $AR(1)$ 过程自相关函数的求法

  由于 $AR(1)$ 与前文中一般线性过程的指数递减的形式相似,可以使用前文式 $(6)$ 的方法计算 $AR(1)$ 过程自相关函数的求法。另外,本文中的式 $(6)$、$(7)$、$(8)$ 使用 $AR(1)$ 的递归定义推导出其自相关函数,这种方法更容易推广到高阶过程。最后,还可以通过式 $(10)$ 等号两边同乘以 $X_{t-k}$ 并求期望来计算自相关函数。