时间序列分析：一般自回归过程
1. 定义
$p$ 阶自回归过程 $AR(p)$
\begin{equation}
X_t = \phi_1 X_{t-1} + \phi_2 X_{t-2} + \cdots + \phi_p X_{t-p} + e_t \tag{1}
\end{equation}
也可以写为
\begin{equation}
X_t – \phi_1 X_{t-1} – \phi_2 X_{t-2} – \cdots – \phi_p X_{t-p} = e_t
\end{equation}
即
\begin{equation}
\phi(B) X_t = e_t \tag{2}
\end{equation}
其中
\begin{equation}
\phi(B) = 1 – \phi_1 B – \phi_2 B^2 – \cdots – \phi_p B^p \tag{3}
\end{equation}
$AR$ 特征方程为 $\phi(B) = 0$，即
\begin{equation}
1 – \phi_1 B – \phi_2 B^2 – \cdots – \phi_p B^p = 0 \tag{4}
\end{equation}
2. $AR(p)$ 过程的平稳性
假设 $e_t$ 独立于 $Y_{t-1}, Y_{t-2}, \cdots$，当且仅当 $AR$ 特征方程每一个根的绝对值（模）都大于 $1$ 时，方程 $(1)$ 存在平稳解。可以证明，以下两个不等式是特征方程根的模大于 $1$ 的必要不充分条件
\begin{equation}
\phi_1 + \phi_2 + \cdots + \phi_p < 1 \\
|\phi_p| < 1 \tag{5}
\end{equation}
3. $AR(p)$ 过程的自相关函数
假序列平稳且具有零均值，在式 $(1)$ 等号两边同乘以 $Y_{t-k}$ 并求期望，得到
\begin{equation}
E(X_t X_{t-k}) = \phi_1 E(X_{t-1} X_{t-k}) + \phi_2 E(X_{t-2} X_{t-k}) + \cdots + \phi_q E(X_{t-q} X_{t-k}) + E(e_t X_{t-k})
\end{equation}
其中 $E(e_t X_{t-k}) = E(e_t)E(X_{t-k}) = 0$，上式可以表述为
\begin{equation}
\gamma_k = \phi_1 \gamma_{k-1} + \phi_2 \gamma_{k-2} + \cdots + \phi_q \gamma_{k-q}, \qquad k \geq 1
\end{equation}
在上式等号两边同除以 $\gamma_0$，得
\begin{equation}
\rho_k = \phi_1 \rho_{k-1} + \phi_2 \rho_{k-2} + \cdots + \phi_q \rho_{k-q}, \qquad k \geq 1 \tag{6}
\end{equation}
将 $k = 1, 2, \cdots, p$ 带入式 $(5)$，并由 $\rho_0 = 1$、$\rho_{-k} = \rho_k$，可以得到一般 Yule-Walker 方程组
\begin{align}
\rho_1 &= \phi_1 + \phi_2 \rho_1 + \phi_3 \rho_2 + \cdots + \phi_p \rho_{p-1} \\
\rho_2 &= \phi_1 \rho_1 + \phi_2 + \phi_3 \rho_1 + \cdots + \phi_p \rho_{p-2} \\
&\vdots \\
\rho_p &= \phi_1 \rho_{p-1} + \phi_2 \rho_{p-2} + \phi_3 \rho_{p-3} + \cdots + \phi_p \tag{7}
\end{align}
当 $\phi_1, \phi_2, \cdots, \phi_p$ 已知时，可以通过求解上式所示的线性方程组，得到 $\rho_1, \rho_2, \cdots, \rho_p$ 的值。这种方法可以用来求解任意高阶时的 $\rho_k$。
4. $AR(p)$ 过程的方差
为了求解方差（$\gamma_0$），在式 $(1)$ 等号两边同乘以 $X_t$ 并求期望，得到
\begin{equation}
\gamma_0 = \mathrm{Var}(X_t) = \phi_1 E(X_{t-1}X_t) + \phi_2 E(X_{t-2}X_t) + \cdots + \phi_p E(X_{t-p}X_t) + E(e_t X_t) \tag{8}
\end{equation}
上式中，
\begin{equation}
E(e_t X_t) = E[e_t (\phi_1 X_{t-1} + \phi_2 X_{t-2} + \cdots + \phi_p X_{t-p} + e_t)] = E(e_t^2) = \sigma_e^2
\end{equation}
将上式带入式 $(8)$，得到
\begin{equation}
\gamma_0 = \phi_1 \gamma_1 + \phi_2 \gamma_2 + \cdots + \phi_p \gamma_p + \sigma_e^2 \tag{9}
\end{equation}
由 $\rho_k = \gamma_k / \gamma_0$，有 $\gamma_k = \rho_k \gamma_0$，带入式 $(9)$，得
\begin{equation}
\gamma_0 = \phi_1\rho_1\gamma_0 + \phi_2\rho_2\gamma_0 + \cdots + \phi_p\rho_p\gamma_0 + \sigma_e^2
\end{equation}
可以解得
\begin{equation}
\gamma_0 = \frac{\sigma_e^2}{1 – \phi_1\rho_1 – \phi_2\rho_2 – \cdots – \phi_p\rho_p} \tag{10}
\end{equation}
上式把方差 $\gamma_0$ 表示成参数 $\sigma_e^2$，$\phi_1, \phi_2, \cdots, \phi_p$ 的已知 $\rho_1, \rho_2, \cdots, \rho_p$ 的形式。在这种一般表示下，无法得到 $\rho_k$ 的显式解，但可以知道 $\rho_k$ 是一系列指数递减项（对应特征方程的实根）和阻尼正弦波动项（对应特征方程的复根）的线性组合。