时间序列分析：一般线性过程
Contents
1. 定义
一般线性过程 $\{X_t\}$ 可以表示为现在和过去白噪声变量的加权线性组合，令 $\{e_t\}$ 表示未观测到的白噪声序列，即一系列均值为零、方差为 $\sigma_e^2$ 的独立同分布的随即变量），则
\begin{equation}
X_t = e_t + \psi_1 e_{t-1} + \psi_2 e_{t-2} + \cdots \tag{1}
\end{equation}
使用延迟算子，有
\begin{equation}
X_t = (1 + \psi_1 B +\phi_2 B^2 + \cdots) e_t = \psi(B) e_t
\end{equation}
上式是一个无穷级数，权重 $\psi$ 需要满足
\begin{equation}
\sum_{i=1}^\infty \psi_i^2 < \infty
\end{equation}
2. 指数递减的形式
令
\begin{equation}
\psi_j = \phi^j
\end{equation}
其中 $\phi$ 严格介于 $-1$ 和 $+1$ 之间，则
\begin{equation}
X_t = e_t + \phi e_{t-1} + \phi^2 e_{t-2} + \cdots \tag{2}
\end{equation}
此时有
\begin{equation}
E(X_t) = E(e_t + \phi e_{t-1} + \phi^2 e_{t-2} + \cdots) = 0 \tag{3}
\end{equation}
\begin{align}
\mathrm{Var}(X_t) &= \mathrm{Var}(e_t + \phi e_{t-1} + \phi^2 e_{t-2} + \cdots) \\
&= \mathrm{Var}(e_t) + \phi^2\mathrm{Var}(e_{t-1}) + \phi^4\mathrm{Var}(e_{t-2}) + \cdots \\
&= \sigma_e^2 (1 + \phi^2 + \phi^4 + \cdots) \\
&= \frac{\sigma_e^2}{1 – \phi^2} \qquad 几何级数求和 \tag{4}
\end{align}
\begin{align}
\gamma_1 &= \mathrm{Cov}(X_t, X_{t-1}) = \mathrm{Cov}(e_t + \phi e_{t-1} + \phi^2 e_{t-2} + \cdots, e_t + \phi e_{t-1} + \phi^2 e_{t-2} + \cdots) \\
&= \mathrm{Cov}(\phi e_{t-1}, e_{t-1}) + \mathrm{Cov}(\phi^2 e_{t-2}, \phi e_{t-2}) + \mathrm{Cov}(\phi^3 e_{t-3}, \phi^2 e_{t-3}) + \cdots \\
&= \phi\sigma_e^2 + \phi^3 \sigma_e^2 + \phi^5 \sigma_e^2 + \cdots \\
&= \phi \sigma_e^2(1 + \phi^2 + \phi^4 + \cdots) \\
&= \frac{\phi \sigma_e^2}{1 – \phi^2} \qquad 几何级数求和
\end{align}
\begin{equation}
\rho_1 = \mathrm{Corr}(X_t, X_{t-1}) = \frac{\phi \sigma_e^2}{1 – \phi^2} / \frac{\sigma_e^2}{1 – \phi^2} = \phi
\end{equation}
类似地，可得
\begin{equation}
\gamma_k = \mathrm{Cov}(X_t, X_{t-k}) = \frac{\phi^k \sigma_e^2}{1 – \phi^2} \tag{5}
\end{equation}
\begin{equation}
\rho_k = \mathrm{Corr}(X_t, X_{t-k}) = \phi^k \tag{6}
\end{equation}
注意上述过程中，这里均值为常数，自协方差只与时间间隔有关，故该过程是平稳的。
3. 回到一般形式
对于如式 $(1)$ 的一般线性过程，易知
\begin{equation}
E(X_t) = 0
\end{equation}
\begin{align}
\gamma_k =& \mathrm{Cov}(X_t, X_{t-k}) \\
=& \mathrm{Cov}(e_t + \psi_1 e_{t-1} + \cdots + \psi_k e_{t-k} + \psi_{k+1} e_{t-k-1} + \cdots, \\
&\qquad e_{t-k} + \psi e_{t-k-1} + \cdots) \\
=& \sigma_e^2 \sum_{i=0}^\infty \psi_i \psi(i + k), \qquad k \geq 0 \tag{7}
\end{align}
其中 $\psi_0 = 1$。
在式 $(1)$ 右边加上一个非零常数 $\mu$ 可以得到一个非零均值的过程，由于均值不影响过程的协方差特性，故以上分析假设均值为零。