时间序列分析：Yule-Walker 方程的矩阵形式

Author: nex3z 2019-07-21

1. Yule-Walker 方程的矩阵形式

　　对于 $p$ 阶自回归过程 $AR(p)$

$$\begin{equation} X_t = \phi_1 X_{t-1} + \phi_2 X_{t-2} + \cdots + \phi_p X_{t-p} + e_t \tag{1} \end{equation}$$

其中 $e_t \sim N(0, \sigma_e^2)$，$e_t$ 独立于 $X_{t-1}, X_{t-2}, \cdots$，并假设序列具有零均值。

　　在式 $(1)$ 等号两边同乘以 $X_{t-k}$ 并求期望，得到

$$\begin{equation} \gamma_k = \phi_1 \gamma_{k-1} + \phi_2 \gamma_{k-2} + \cdots + \phi_p \gamma_{k-p} + E(e_t X_{t-k}) \end{equation}$$

$e_t$ 独立于 $X_{t-1}, X_{t-2}, \cdots$，可知 E(e_t X_{t-k}) = E(e_t)E(X_{t-k}) = 0，于是

$$\begin{equation} \gamma_k = \phi_1 \gamma_{k-1} + \phi_2 \gamma_{k-2} + \cdots + \phi_p \gamma_{k-p} \tag{2} \end{equation}$$

　　在式 $(2)$ 等号两边同除以 $\gamma_0$，得

$$\begin{equation} \rho_k = \phi_1 \rho_{k-1} + \phi_2 \rho_{k-2} + \cdots + \phi_p \rho_{k-p} \tag{3} \end{equation}$$

将 $k = 1, 2, \cdots, p$ 带入式 $(3)$，可以得到 Yule-Walker 方程组

$$\begin{align} \rho_1 &= \phi_1 \rho_{0} + \phi_2 \rho_{-1} + \phi_3 \rho_{-2} + \cdots + \phi_p \rho_{1-p} \\ \rho_2 &= \phi_1 \rho_{1} + \phi_2 \rho_{0} + \phi_3 \rho_{-1} + \cdots + \phi_p \rho_{2-p} \\ \rho_3 &= \phi_1 \rho_{2} + \phi_2 \rho_{1} + \phi_3 \rho_{0} + \cdots + \phi_p \rho_{3-p} \\ &\vdots \\ \rho_{p-1} &= \phi_1 \rho_{p-2} + \phi_2 \rho_{p-3} + \phi_3 \rho_{p-4} + \cdots + \phi_p \rho_{1} \\ \rho_{p} &= \phi_1 \rho_{p-1} + \phi_2 \rho_{p-2} + \phi_3 \rho_{p-3} + \cdots + \phi_p \rho_{0} \\ \end{align}$$

由自相关函数的性质 $\rho_0 = 1$，$\rho_{k} = \rho_{-k}$，上面的方程组可以写为

$$\begin{align} \rho_1 &= \phi_1 + \phi_2 \rho_{1} + \phi_3 \rho_{2} + \cdots + \phi_p \rho_{p-1} \\ \rho_2 &= \phi_1 \rho_{1} + \phi_2 + \phi_3 \rho_{1} + \cdots + \phi_p \rho_{p-2} \\ \rho_3 &= \phi_1 \rho_{2} + \phi_2 \rho_{1} + \phi_3 + \cdots + \phi_p \rho_{p-3} \\ &\vdots \\ \rho_{p-1} &= \phi_1 \rho_{p-2} + \phi_2 \rho_{p-3} + \phi_3 \rho_{p-4} + \cdots + \phi_p \rho_{1} \\ \rho_{p} &= \phi_1 \rho_{p-1} + \phi_2 \rho_{p-2} + \phi_3 \rho_{p-3} + \cdots + \phi_p \\ \end{align}$$

将上面的方程组进一步写为矩阵的形式

$$\begin{equation} \begin{bmatrix} \rho_1 \\ \rho_2 \\ \rho_3 \\ \vdots \\ \rho_{p-1} \\ \rho_{p} \end{bmatrix} = \begin{bmatrix} 1 & \rho_1 & \rho_2 & \cdots & \rho_{p-1} \\ \rho_1 & 1 & \rho_1 & \cdots & \rho_{p-2} \\ \rho_2 & 1 & \rho_1 & \cdots & \rho_{p-3} \\ & \vdots & & \ddots & \vdots \\ \rho_{p-2} & \rho_{p-3} & \rho_{p-4} & \cdots & \rho_{1} \\ \rho_{p-1} & \rho_{p-2} & \rho_{p-3} & \cdots & 1 \end{bmatrix} \begin{bmatrix} \phi_1 \\ \phi_2 \\ \phi_3 \\ \vdots \\ \phi_{p-1} \\ \phi_{p} \end{bmatrix} \tag{4} \end{equation}$$

即

$$\begin{equation} b = R \phi \tag{5} \end{equation}$$

　　由式 $(5)$ 可以解得 $AR(p)$ 过程的参数

$$\begin{equation} \phi = R^{-1}b \tag{6} \end{equation}$$

　　在实际中，我们只能得到序列的样本，由样本自相关系数 $r_k$ 估计参数 $\phi$ 的方法类似，此时

$$\begin{equation} \begin{bmatrix} r_1 \\ r_2 \\ r_3 \\ \vdots \\ r_{p-1} \\ r_{p} \end{bmatrix} = \begin{bmatrix} 1 & r_1 & r_2 & \cdots & r_{p-1} \\ r_1 & 1 & r_1 & \cdots & r_{p-2} \\ r_2 & 1 & r_1 & \cdots & r_{p-3} \\ & \vdots & & \ddots & \vdots \\ r_{p-2} & r_{p-3} & r_{p-4} & \cdots & r_{1} \\ r_{p-1} & r_{p-2} & r_{p-3} & \cdots & 1 \end{bmatrix} \begin{bmatrix} \phi_1 \\ \phi_2 \\ \phi_3 \\ \vdots \\ \phi_{p-1} \\ \phi_{p} \end{bmatrix} \end{equation}$$

即

$$\begin{equation} \widehat b = \widehat R \widehat\phi \tag{7} \end{equation}$$

解得

$$\begin{equation} \widehat\phi = \widehat R^{-1} \widehat b \tag{8} \end{equation}$$

　　注意到矩阵 $R$ 和 $\widehat R$ 都是半正定的对称矩阵，具有非负特征值，方程 $(5)$、$(7)$ 具有唯一解。

2. 示例

2.1. $\mathrm{AR}(2)$

　　对于 $\mathrm{AR}(2)$ 过程

$$\begin{equation} X_t = \phi_1 X_{t-1} + \phi_2 X_{t-2} + e_t \end{equation}$$

首先计算样本的自相关 $r_1$ 和 $r_2$，由方程

$$\begin{equation} \begin{bmatrix} r_1 \\ r_2 \end{bmatrix} = \begin{bmatrix} 1 & r_1 \\ r_1 & 1 \end{bmatrix} \begin{bmatrix} \hat \phi_1 \\ \hat \phi_2 \end{bmatrix} \end{equation}$$

可以解得参数 $\hat \phi_1$ 和 $\hat \phi_2$。

2.2. $\mathrm{AR}(3)$

　　对于 $\mathrm{AR}(3)$ 过程

$$\begin{equation} X_t = \phi_1 X_{t-1} + \phi_2 X_{t-2} + \phi_3 X_{t-3} + e_t \end{equation}$$

首先计算样本的自相关 $r_1$、$r_2$ 和 $r_3$，由方程

$$\begin{equation} \begin{bmatrix} r_1 \\ r_2 \\ r_3 \end{bmatrix} = \begin{bmatrix} 1 & r_1 & r_2\\ r_1 & 1 & r_1 \\ r_2 & r_1 & 1 \end{bmatrix} \begin{bmatrix} \hat \phi_1 \\ \hat \phi_2 \\ \hat \phi_3 \end{bmatrix} \end{equation}$$

可以解得参数 $\hat \phi_1$、$\hat \phi_2$ 和 $\hat \phi_3$。

3. 均值不为零的情况

　　如果 $AR(p)$ 的均值不为零，即

$$\begin{equation} X_t = \phi_0 + \phi_1 X_{t-1} + \phi_2 X_{t-2} + \cdots + \phi_p X_{t-p} + e_t \tag{9} \end{equation}$$

对上式等号两边取期望，得

$$\begin{equation} \mu = \phi_0 + \phi_1 \mu + \phi_2 \mu + \cdots + \phi_p \mu + 0 \tag{10} \end{equation}$$

使用式 $(9)$ 减去式 $(10)$$，得到

$$\begin{equation} X_t – \mu = \phi_1 (X_{t-1} – \mu) + \phi_2 (X_{t-2} – \mu) + \cdots + \phi_p (X_{t-p} – \mu) + e_t \end{equation}$$

　　令 $\tilde X_t = X_t – \mu$，则 $E(\tilde{X}_t) = 0$，$\{\tilde X_t\}$ 是一个均值为零的 $AR(p)$ 过程

$$\begin{equation} \tilde X_t = \phi_1 \tilde X_{t-1} + \phi_2 \tilde X_{t-2} + \cdots + \phi_p \tilde X_{t-p} + e_t \end{equation}$$

然后就可以按照开头零均值的情况进行分析。