时间序列分析：一阶自回归过程
Contents
1. 自回归过程
自回归过程使用自身作为回归变量，定义
\begin{equation}
X_t = \phi_1 X_{t-1} + \phi_2 X_{t-2} +\cdots + \phi_p X_{t-p} + e_t \tag{1}
\end{equation}
为 $p$ 阶自回归过程（Autoregressive Process），记做 $AR(p)$。序列 $X_t$ 的当前值由自身最近的 $p$ 阶滞后项和新息项 $e_t$ 的线性组合，其中 $e_t$ 包含了序列在 $t$ 时刻无法用历史值解释的所有新信息，因此对于每一个 $t$，假设 $e_t$ 独立于 $X_{t-1}, X_{t-2}, \cdots$。
将式 $(1)$ 中等号右边的 $X$ 项移到等号左边，得到
\begin{equation}
X_t – \phi_1 X_{t-1} + \phi_2 X_{t-2} +\cdots + \phi_p X_{t-p} = e_t
\end{equation}
即
\begin{equation}
\phi(B) X_t = e_t \tag{2}
\end{equation}
其中
\begin{equation}
\phi(B) = 1 – \phi_1 B – \phi_2 B^p – \cdots – \phi_p B^p \tag{3}
\end{equation}
将 $B$ 看做一个复变量，$\theta(B) = 0$ 称为该模型的特征方程。
2. 一阶自回归过程
2.1. 定义
一阶自回归过程 $AR(1)$ 的表达式为 $X_t = \phi_1 X_{t-1} + e_t$，由于只有一个参数 $\phi_1$，方便起见去掉其下标 1，写为
\begin{equation}
X_t = \phi X_{t-1} + e_t \tag{4}
\end{equation}
假设序列的均值为零，$e_t$ 的方差为 $\sigma_e^2$。
对式 $(4)$ 等号两边求方差，得到
\begin{equation}
\gamma_0 = \phi^2 \gamma_0 + \sigma_e^2
\end{equation}
可以解得
\begin{equation}
\gamma_0 = \frac{\sigma_e^2}{1 – \phi^2} \tag{5}
\end{equation}
得到隐含条件 $\phi^2 <1$ 或 $|\phi| < 1$。
对式 $(4)$ 等号两边同乘以 $X_{t-k}$（$k = 1, 2, \cdots$），并求期望，得
\begin{equation}
E(X_{t-k} X_t) = \phi E(X_{t-k}X_{t-1}) + E(e_t X_{t-k})
\end{equation}
即
\begin{equation}
\gamma_k = \phi \gamma_{k-1} + E(e_t X_{t-k}) \tag{6}
\end{equation}
对于 $E(e_t X_{t-k})$，由于 $\{X_t\}$ 具有零均值，且 $e_t$ 独立于 $X_{t-k}$，有
\begin{equation}
E(e_t X_{t-k}) = E(e_t) E(X_{t-k}) = 0
\end{equation}
将上式带入式 $(6)$，得
\begin{equation}
\gamma_k = \phi \gamma_{k-1}, \qquad k = 1, 2, 3, \cdots \tag{7}
\end{equation}
分别令 $k = 1$ 和 $k = 2$，带入上式，得到
\begin{equation}
\gamma_1 = \phi \gamma_0 = \phi \frac{\sigma_e^2}{1 – \phi^2}
\end{equation}
\begin{equation}
\gamma_2 = \phi \gamma_1 = \phi^2 \frac{\sigma_e^2}{1 – \phi^2}
\end{equation}
一般地，有
\begin{equation}
\gamma_k = \phi^k \frac{\sigma_e^2}{1 – \phi^2} \tag{8}
\end{equation}
进一步地，得到自相关函数
\begin{equation}
\rho_k = \frac{\gamma_k}{\gamma_0} = \phi^k, \qquad k = 1, 2, 3, \cdots \tag{9}
\end{equation}
因为 $|\phi| < 1$，由式 $(9)$ 可知，随着滞后长度 $k$ 的增加，自相关函数的值呈指数递减。若 $0 < \phi < 1$，则自相关函数为正；若 $-1 < \phi < 0$，则自相关函数的符号在 $k = 1$ 时为负，并随着滞后长度 $k$ 的增加而正负交替。
由式 $(9)$ 还可以看出，当 $\phi$ 在 $\pm 1$ 附近时，指数递减得很慢，此时序列具有强自相关性，且强自相关会持续很多期。对于绝对值较小的 $\phi$，递减的速度相当快。
2.2. 模拟
模拟 $\theta = 0.8$ 的 $AR(1)$ 过程并绘制自相关图像如图 1、图 2 所示。
set.seed(42)
e <- rnorm(100)
ar_1 <- c(e[1])
for(i in 2:100) {
ar_1[i] <- 0.8 * ar_1[i - 1] + e[i]
}
plot.ts(ar_1, type='o', ylab='AR(1)')
图 1
acf(ar_1)
图 2
由图 1 可见序列存在很大的惯性，看上去似乎存在趋势，但实际上理论均值在所有时间上均为零，具有趋势的错觉是因为序列的相邻时刻具有很强的自相关。
2.3. $AR(1)$ 的一般线性过程表示
对于式 $(4)$ 描述的 $AR(1)$ 过程，在 $t – 1$ 时刻，有 $X_{t-1} = \phi X_{t-2} + e_{t-1}$，将此式带入式 $(4)$，得到
\begin{equation}
X_t = \phi(\phi X_{t-2} + e_{t-1}) = e_t + \phi e_{t – 1} + \phi^2 X_{t-2}
\end{equation}
像上面那样替换滞后项的操作可以无限进行下去，假设 $|\phi| <1$，令 $k \rightarrow \infty$，得到无穷级数表达式
\begin{equation}
X_t = \phi(\phi X_{t-2} + e_{t-1}) = e_t + \phi e_{t – 1} + \phi^2 e_{t-2} + \phi^3 e_{t-3} + \cdots \tag{10}
\end{equation}
这也是式 $(4)$ 的一般线性过程表达式，对比前文式 $(1)$，此时 $\psi_j = \phi^j$。这里的 $AR(1)$ 过程类似于前文中一般线性过程的指数递减的形式。
2.4. $AR(1)$ 过程的平稳性
可以证明，在 $e_t$ 独立于 $X_{t-1}, X_{t-2}, \cdots$ 和 $\sigma_e^2 > 0$ 的条件下，当且仅当 $|\phi| < 1$ 时，$AR(1)$ 的递归定义 $X_t = \phi X_{t-1} + e_t$ 的解是平稳的。$|\phi| < 1$ 称为 $AR(1)$ 过程的平稳条件。
2.5. $AR(1)$ 过程自相关函数的求法
由于 $AR(1)$ 与前文中一般线性过程的指数递减的形式相似，可以使用前文式 $(6)$ 的方法计算 $AR(1)$ 过程自相关函数的求法。另外，本文中的式 $(6)$、$(7)$、$(8)$ 使用 $AR(1)$ 的递归定义推导出其自相关函数，这种方法更容易推广到高阶过程。最后，还可以通过式 $(10)$ 等号两边同乘以 $X_{t-k}$ 并求期望来计算自相关函数。