时间序列分析:Yule-Walker 方程的矩阵形式

1. Yule-Walker 方程的矩阵形式

  对于 $p$ 阶自回归过程 $AR(p)$

\begin{equation}
X_t = \phi_1 X_{t-1} + \phi_2 X_{t-2} + \cdots + \phi_p X_{t-p} + e_t \tag{1}
\end{equation}

其中 $e_t \sim N(0, \sigma_e^2)$,$e_t$ 独立于 $X_{t-1}, X_{t-2}, \cdots$,并假设序列具有零均值。

  在式 $(1)$ 等号两边同乘以 $X_{t-k}$ 并求期望,得到

\begin{equation}
\gamma_k = \phi_1 \gamma_{k-1} + \phi_2 \gamma_{k-2} + \cdots + \phi_p \gamma_{k-p} + E(e_t X_{t-k})
\end{equation}

$e_t$ 独立于 $X_{t-1}, X_{t-2}, \cdots$,可知 E(e_t X_{t-k}) = E(e_t)E(X_{t-k}) = 0,于是

\begin{equation}
\gamma_k = \phi_1 \gamma_{k-1} + \phi_2 \gamma_{k-2} + \cdots + \phi_p \gamma_{k-p} \tag{2}
\end{equation}

  在式 $(2)$ 等号两边同除以 $\gamma_0$,得

\begin{equation}
\rho_k = \phi_1 \rho_{k-1} + \phi_2 \rho_{k-2} + \cdots + \phi_p \rho_{k-p} \tag{3}
\end{equation}

将 $k = 1, 2, \cdots, p$ 带入式 $(3)$,可以得到 Yule-Walker 方程组

\begin{align}
\rho_1 &= \phi_1 \rho_{0} + \phi_2 \rho_{-1} + \phi_3 \rho_{-2} + \cdots + \phi_p \rho_{1-p} \\
\rho_2 &= \phi_1 \rho_{1} + \phi_2 \rho_{0} + \phi_3 \rho_{-1} + \cdots + \phi_p \rho_{2-p} \\
\rho_3 &= \phi_1 \rho_{2} + \phi_2 \rho_{1} + \phi_3 \rho_{0} + \cdots + \phi_p \rho_{3-p} \\
&\vdots \\
\rho_{p-1} &= \phi_1 \rho_{p-2} + \phi_2 \rho_{p-3} + \phi_3 \rho_{p-4} + \cdots + \phi_p \rho_{1} \\
\rho_{p} &= \phi_1 \rho_{p-1} + \phi_2 \rho_{p-2} + \phi_3 \rho_{p-3} + \cdots + \phi_p \rho_{0} \\
\end{align}

由自相关函数的性质 $\rho_0 = 1$,$\rho_{k} = \rho_{-k}$,上面的方程组可以写为

\begin{align}
\rho_1 &= \phi_1 + \phi_2 \rho_{1} + \phi_3 \rho_{2} + \cdots + \phi_p \rho_{p-1} \\
\rho_2 &= \phi_1 \rho_{1} + \phi_2 + \phi_3 \rho_{1} + \cdots + \phi_p \rho_{p-2} \\
\rho_3 &= \phi_1 \rho_{2} + \phi_2 \rho_{1} + \phi_3 + \cdots + \phi_p \rho_{p-3} \\
&\vdots \\
\rho_{p-1} &= \phi_1 \rho_{p-2} + \phi_2 \rho_{p-3} + \phi_3 \rho_{p-4} + \cdots + \phi_p \rho_{1} \\
\rho_{p} &= \phi_1 \rho_{p-1} + \phi_2 \rho_{p-2} + \phi_3 \rho_{p-3} + \cdots + \phi_p \\
\end{align}

将上面的方程组进一步写为矩阵的形式

\begin{equation}
\begin{bmatrix}
\rho_1 \\
\rho_2 \\
\rho_3 \\
\vdots \\
\rho_{p-1} \\
\rho_{p}
\end{bmatrix} =
\begin{bmatrix}
1 & \rho_1 & \rho_2 & \cdots & \rho_{p-1} \\
\rho_1 & 1 & \rho_1 & \cdots & \rho_{p-2} \\
\rho_2 & 1 & \rho_1 & \cdots & \rho_{p-3} \\
& \vdots & & \ddots & \vdots \\
\rho_{p-2} & \rho_{p-3} & \rho_{p-4} & \cdots & \rho_{1} \\
\rho_{p-1} & \rho_{p-2} & \rho_{p-3} & \cdots & 1
\end{bmatrix}
\begin{bmatrix}
\phi_1 \\
\phi_2 \\
\phi_3 \\
\vdots \\
\phi_{p-1} \\
\phi_{p}
\end{bmatrix} \tag{4}
\end{equation}

\begin{equation}
b = R \phi \tag{5}
\end{equation}

  由式 $(5)$ 可以解得 $AR(p)$ 过程的参数

\begin{equation}
\phi = R^{-1}b \tag{6}
\end{equation}

  在实际中,我们只能得到序列的样本,由样本自相关系数 $r_k$ 估计参数 $\phi$ 的方法类似,此时

\begin{equation}
\begin{bmatrix}
r_1 \\
r_2 \\
r_3 \\
\vdots \\
r_{p-1} \\
r_{p}
\end{bmatrix} =
\begin{bmatrix}
1 & r_1 & r_2 & \cdots & r_{p-1} \\
r_1 & 1 & r_1 & \cdots & r_{p-2} \\
r_2 & 1 & r_1 & \cdots & r_{p-3} \\
& \vdots & & \ddots & \vdots \\
r_{p-2} & r_{p-3} & r_{p-4} & \cdots & r_{1} \\
r_{p-1} & r_{p-2} & r_{p-3} & \cdots & 1
\end{bmatrix}
\begin{bmatrix}
\phi_1 \\
\phi_2 \\
\phi_3 \\
\vdots \\
\phi_{p-1} \\
\phi_{p}
\end{bmatrix}
\end{equation}

\begin{equation}
\widehat b = \widehat R \widehat\phi \tag{7}
\end{equation}

解得

\begin{equation}
\widehat\phi = \widehat R^{-1} \widehat b \tag{8}
\end{equation}

  注意到矩阵 $R$ 和 $\widehat R$ 都是半正定的对称矩阵,具有非负特征值,方程 $(5)$、$(7)$ 具有唯一解。

2. 示例

2.1. $\mathrm{AR}(2)$

  对于 $\mathrm{AR}(2)$ 过程

\begin{equation}
X_t = \phi_1 X_{t-1} + \phi_2 X_{t-2} + e_t
\end{equation}

首先计算样本的自相关 $r_1$ 和 $r_2$,由方程

\begin{equation}
\begin{bmatrix}
r_1 \\
r_2
\end{bmatrix} =
\begin{bmatrix}
1 & r_1 \\
r_1 & 1
\end{bmatrix}
\begin{bmatrix}
\hat \phi_1 \\
\hat \phi_2
\end{bmatrix}
\end{equation}

可以解得参数 $\hat \phi_1$ 和 $\hat \phi_2$。

2.2. $\mathrm{AR}(3)$

  对于 $\mathrm{AR}(3)$ 过程

\begin{equation}
X_t = \phi_1 X_{t-1} + \phi_2 X_{t-2} + \phi_3 X_{t-3} + e_t
\end{equation}

首先计算样本的自相关 $r_1$、$r_2$ 和 $r_3$,由方程

\begin{equation}
\begin{bmatrix}
r_1 \\
r_2 \\
r_3
\end{bmatrix} =
\begin{bmatrix}
1 & r_1 & r_2\\
r_1 & 1 & r_1 \\
r_2 & r_1 & 1
\end{bmatrix}
\begin{bmatrix}
\hat \phi_1 \\
\hat \phi_2 \\
\hat \phi_3
\end{bmatrix}
\end{equation}

可以解得参数 $\hat \phi_1$、$\hat \phi_2$ 和 $\hat \phi_3$。

3. 均值不为零的情况

  如果 $AR(p)$ 的均值不为零,即

\begin{equation}
X_t = \phi_0 + \phi_1 X_{t-1} + \phi_2 X_{t-2} + \cdots + \phi_p X_{t-p} + e_t \tag{9}
\end{equation}

对上式等号两边取期望,得

\begin{equation}
\mu = \phi_0 + \phi_1 \mu + \phi_2 \mu + \cdots + \phi_p \mu + 0 \tag{10}
\end{equation}

使用式 $(9)$ 减去式 $(10)$$,得到

\begin{equation}
X_t – \mu = \phi_1 (X_{t-1} – \mu) + \phi_2 (X_{t-2} – \mu) + \cdots + \phi_p (X_{t-p} – \mu) + e_t
\end{equation}

  令 $\tilde X_t = X_t – \mu$,则 $E(\tilde{X}_t) = 0$,$\{\tilde X_t\}$ 是一个均值为零的 $AR(p)$ 过程

\begin{equation}
\tilde X_t = \phi_1 \tilde X_{t-1} + \phi_2 \tilde X_{t-2} + \cdots + \phi_p \tilde X_{t-p} + e_t
\end{equation}

然后就可以按照开头零均值的情况进行分析。