时间序列分析：Yule-Walker 方程的矩阵形式
1. Yule-Walker 方程的矩阵形式
对于 $p$ 阶自回归过程 $AR(p)$
\begin{equation}
X_t = \phi_1 X_{t-1} + \phi_2 X_{t-2} + \cdots + \phi_p X_{t-p} + e_t \tag{1}
\end{equation}
其中 $e_t \sim N(0, \sigma_e^2)$，$e_t$ 独立于 $X_{t-1}, X_{t-2}, \cdots$，并假设序列具有零均值。
在式 $(1)$ 等号两边同乘以 $X_{t-k}$ 并求期望，得到
\begin{equation}
\gamma_k = \phi_1 \gamma_{k-1} + \phi_2 \gamma_{k-2} + \cdots + \phi_p \gamma_{k-p} + E(e_t X_{t-k})
\end{equation}
$e_t$ 独立于 $X_{t-1}, X_{t-2}, \cdots$，可知 E(e_t X_{t-k}) = E(e_t)E(X_{t-k}) = 0，于是
\begin{equation}
\gamma_k = \phi_1 \gamma_{k-1} + \phi_2 \gamma_{k-2} + \cdots + \phi_p \gamma_{k-p} \tag{2}
\end{equation}
在式 $(2)$ 等号两边同除以 $\gamma_0$，得
\begin{equation}
\rho_k = \phi_1 \rho_{k-1} + \phi_2 \rho_{k-2} + \cdots + \phi_p \rho_{k-p} \tag{3}
\end{equation}
将 $k = 1, 2, \cdots, p$ 带入式 $(3)$，可以得到 Yule-Walker 方程组
\begin{align}
\rho_1 &= \phi_1 \rho_{0} + \phi_2 \rho_{-1} + \phi_3 \rho_{-2} + \cdots + \phi_p \rho_{1-p} \\
\rho_2 &= \phi_1 \rho_{1} + \phi_2 \rho_{0} + \phi_3 \rho_{-1} + \cdots + \phi_p \rho_{2-p} \\
\rho_3 &= \phi_1 \rho_{2} + \phi_2 \rho_{1} + \phi_3 \rho_{0} + \cdots + \phi_p \rho_{3-p} \\
&\vdots \\
\rho_{p-1} &= \phi_1 \rho_{p-2} + \phi_2 \rho_{p-3} + \phi_3 \rho_{p-4} + \cdots + \phi_p \rho_{1} \\
\rho_{p} &= \phi_1 \rho_{p-1} + \phi_2 \rho_{p-2} + \phi_3 \rho_{p-3} + \cdots + \phi_p \rho_{0} \\
\end{align}
由自相关函数的性质 $\rho_0 = 1$，$\rho_{k} = \rho_{-k}$，上面的方程组可以写为
\begin{align}
\rho_1 &= \phi_1 + \phi_2 \rho_{1} + \phi_3 \rho_{2} + \cdots + \phi_p \rho_{p-1} \\
\rho_2 &= \phi_1 \rho_{1} + \phi_2 + \phi_3 \rho_{1} + \cdots + \phi_p \rho_{p-2} \\
\rho_3 &= \phi_1 \rho_{2} + \phi_2 \rho_{1} + \phi_3 + \cdots + \phi_p \rho_{p-3} \\
&\vdots \\
\rho_{p-1} &= \phi_1 \rho_{p-2} + \phi_2 \rho_{p-3} + \phi_3 \rho_{p-4} + \cdots + \phi_p \rho_{1} \\
\rho_{p} &= \phi_1 \rho_{p-1} + \phi_2 \rho_{p-2} + \phi_3 \rho_{p-3} + \cdots + \phi_p \\
\end{align}
将上面的方程组进一步写为矩阵的形式
\begin{equation}
\begin{bmatrix}
\rho_1 \\
\rho_2 \\
\rho_3 \\
\vdots \\
\rho_{p-1} \\
\rho_{p}
\end{bmatrix} =
\begin{bmatrix}
1 & \rho_1 & \rho_2 & \cdots & \rho_{p-1} \\
\rho_1 & 1 & \rho_1 & \cdots & \rho_{p-2} \\
\rho_2 & 1 & \rho_1 & \cdots & \rho_{p-3} \\
& \vdots & & \ddots & \vdots \\
\rho_{p-2} & \rho_{p-3} & \rho_{p-4} & \cdots & \rho_{1} \\
\rho_{p-1} & \rho_{p-2} & \rho_{p-3} & \cdots & 1
\end{bmatrix}
\begin{bmatrix}
\phi_1 \\
\phi_2 \\
\phi_3 \\
\vdots \\
\phi_{p-1} \\
\phi_{p}
\end{bmatrix} \tag{4}
\end{equation}
即
\begin{equation}
b = R \phi \tag{5}
\end{equation}
由式 $(5)$ 可以解得 $AR(p)$ 过程的参数
\begin{equation}
\phi = R^{-1}b \tag{6}
\end{equation}
在实际中，我们只能得到序列的样本，由样本自相关系数 $r_k$ 估计参数 $\phi$ 的方法类似，此时
\begin{equation}
\begin{bmatrix}
r_1 \\
r_2 \\
r_3 \\
\vdots \\
r_{p-1} \\
r_{p}
\end{bmatrix} =
\begin{bmatrix}
1 & r_1 & r_2 & \cdots & r_{p-1} \\
r_1 & 1 & r_1 & \cdots & r_{p-2} \\
r_2 & 1 & r_1 & \cdots & r_{p-3} \\
& \vdots & & \ddots & \vdots \\
r_{p-2} & r_{p-3} & r_{p-4} & \cdots & r_{1} \\
r_{p-1} & r_{p-2} & r_{p-3} & \cdots & 1
\end{bmatrix}
\begin{bmatrix}
\phi_1 \\
\phi_2 \\
\phi_3 \\
\vdots \\
\phi_{p-1} \\
\phi_{p}
\end{bmatrix}
\end{equation}
即
\begin{equation}
\widehat b = \widehat R \widehat\phi \tag{7}
\end{equation}
解得
\begin{equation}
\widehat\phi = \widehat R^{-1} \widehat b \tag{8}
\end{equation}
注意到矩阵 $R$ 和 $\widehat R$ 都是半正定的对称矩阵，具有非负特征值，方程 $(5)$、$(7)$ 具有唯一解。
2. 示例
2.1. $\mathrm{AR}(2)$
对于 $\mathrm{AR}(2)$ 过程
\begin{equation}
X_t = \phi_1 X_{t-1} + \phi_2 X_{t-2} + e_t
\end{equation}
首先计算样本的自相关 $r_1$ 和 $r_2$，由方程
\begin{equation}
\begin{bmatrix}
r_1 \\
r_2
\end{bmatrix} =
\begin{bmatrix}
1 & r_1 \\
r_1 & 1
\end{bmatrix}
\begin{bmatrix}
\hat \phi_1 \\
\hat \phi_2
\end{bmatrix}
\end{equation}
可以解得参数 $\hat \phi_1$ 和 $\hat \phi_2$。
2.2. $\mathrm{AR}(3)$
对于 $\mathrm{AR}(3)$ 过程
\begin{equation}
X_t = \phi_1 X_{t-1} + \phi_2 X_{t-2} + \phi_3 X_{t-3} + e_t
\end{equation}
首先计算样本的自相关 $r_1$、$r_2$ 和 $r_3$，由方程
\begin{equation}
\begin{bmatrix}
r_1 \\
r_2 \\
r_3
\end{bmatrix} =
\begin{bmatrix}
1 & r_1 & r_2\\
r_1 & 1 & r_1 \\
r_2 & r_1 & 1
\end{bmatrix}
\begin{bmatrix}
\hat \phi_1 \\
\hat \phi_2 \\
\hat \phi_3
\end{bmatrix}
\end{equation}
可以解得参数 $\hat \phi_1$、$\hat \phi_2$ 和 $\hat \phi_3$。
3. 均值不为零的情况
如果 $AR(p)$ 的均值不为零，即
\begin{equation}
X_t = \phi_0 + \phi_1 X_{t-1} + \phi_2 X_{t-2} + \cdots + \phi_p X_{t-p} + e_t \tag{9}
\end{equation}
对上式等号两边取期望，得
\begin{equation}
\mu = \phi_0 + \phi_1 \mu + \phi_2 \mu + \cdots + \phi_p \mu + 0 \tag{10}
\end{equation}
使用式 $(9)$ 减去式 $(10)$$，得到
\begin{equation}
X_t – \mu = \phi_1 (X_{t-1} – \mu) + \phi_2 (X_{t-2} – \mu) + \cdots + \phi_p (X_{t-p} – \mu) + e_t
\end{equation}
令 $\tilde X_t = X_t – \mu$，则 $E(\tilde{X}_t) = 0$，$\{\tilde X_t\}$ 是一个均值为零的 $AR(p)$ 过程
\begin{equation}
\tilde X_t = \phi_1 \tilde X_{t-1} + \phi_2 \tilde X_{t-2} + \cdots + \phi_p \tilde X_{t-p} + e_t
\end{equation}
然后就可以按照开头零均值的情况进行分析。