时间序列分析：均方收敛
对于随机过程 $\{X_n\}$ 和随机变量 $X$，当 $n \rightarrow \infty$ 时，若
\begin{equation}
E[(X_n – X)^2] \rightarrow 0 \tag{1}
\end{equation}
则称 $X_n$ 均方收敛于 $X$。
前文中将 $\mathrm{MA}(1)$ 过程 $X_t = e_t + \theta e_{t-1}$ 表示为 $\mathrm{AR}(\infty)$ 的形式
\begin{equation}
e_t = \theta(B)^{-1} X_t = 1 – \theta X_{t-1} + \theta^2 X_{t-2} – \theta^3 X_{t-3} + \cdots = \sum_{k=0}^\infty (-\theta)^k X_{t-k} \tag{2}
\end{equation}
为了使上式有意义，我们希望式 $(2)$ 等号右边的级数均方收敛于 $e_t$。考虑部分和 $A_n = \sum\limits_{k=0}^n (-\theta)^k X_{t-k}$，我们希望当 $n \rightarrow \infty$ 时，$A_n$ 均方收敛于 $e_t$。由
\begin{equation}
E\bigg[ \bigg(\sum_{k=0}^n (-\theta)^k X_{t-k} – e_t \bigg)^2 \bigg] = E\bigg[ \bigg(\sum_{k=0}^n (-\theta)^k X_{t-k}\bigg)^2 \bigg] – 2E\bigg[ \bigg(\sum_{k=0}^n (-\theta)^k X_{t-k}\bigg) e_t \bigg] + E(e_t^2) \tag{3}
\end{equation}
对于式 $(3)$ 中等号右边第一项
\begin{equation}
E\bigg[ \bigg(\sum_{k=0}^n (-\theta)^k X_{t-k}\bigg)^2 \bigg]
= E\bigg[ \sum_{k=0}^n \theta^{2k} X_{t-k}^2 \bigg] + 2E\bigg[ \sum_{k=0}^{n} \sum_{j=0}^{k-1} (-\theta)^{k} X_{t-k} (-\theta)^{j} X_{t-j} \bigg] \tag{4}
\end{equation}
对于式 $(4)$ 中等号右边的第二项，仅在 $j = k – 1$ 时，$X_{t-k} = e_{t-k} + \theta e_{t-k-1}$ 与 $X_{t-j} = X_{t-(k-1)} = e_{t-k+1} + \theta e_{t-k}$ 有相同项 $e_{t-k}$，于是
\begin{align}
&2E\bigg[ \sum_{k=0}^{n} \sum_{j=0}^{k-1} (-\theta)^{k} X_{t-k} (-\theta)^{j} X_{t-j} \bigg] \\
&= 2E\bigg[ \sum_{k=0}^{n-1} (-\theta)^{2k+1} X_{t-k} X_{t-k+1} \bigg] \\
&= -2E\bigg[ \sum_{k=0}^{n-1} \theta^{2k+1} X_{t-k} X_{t-k+1} \bigg] \tag{5}
\end{align}
于是式 $(4)$ 可以写成
\begin{equation}
E\bigg[ \bigg(\sum_{k=0}^n (-\theta)^k X_{t-k}\bigg)^2 \bigg]
= E\bigg[ \sum_{k=0}^n (-\theta)^{k} X_{t-k}^2 \bigg] -2E\bigg[ \sum_{k=0}^{n-1} \theta^{2k+1} X_{t-k} X_{t-k+1} \bigg] \tag{6}
\end{equation}
对于式 $(3)$ 中等号右边第二项，仅当 $k = 0$ 时，$E(X_t e_t)$ 不为零，于是
\begin{equation}
– 2E\bigg[ \bigg(\sum_{k=0}^n (-\theta)^k X_{t-k}\bigg) e_t \bigg] = -2E(X_t e_t) \tag{7}
\end{equation}
对于式 $(3)$ 中等号右边第三项，有
\begin{equation}
E(e_t^2) = \sigma_e^2 \tag{8}
\end{equation}
将式 $(6)$、$(7)$、$(8)$ 带入式 $(3)$，并由前文可知对于 $\mathrm{MA}(1)$ 有 $\gamma_0 = (1 + \theta^2) \sigma_e^2$，$\gamma_1 = \theta \sigma_e^2$，于是可以得到
\begin{align}
&E\bigg[ \bigg(\sum_{k=0}^n (-\theta)^k X_{t-k} – e_t \bigg)^2 \bigg] \\
&= E\bigg[ \sum_{k=0}^n \theta^{2k} X_{t-k}^2 \bigg] – 2E\bigg[ \sum_{k=0}^{n-1} \theta^{2k+1} X_{t-k} X_{t-k+1} \bigg] – 2E[X_t e_t] + \sigma_e^2 \\
&= \sum_{k=0}^n \theta^{2k} e[X_{t-k}^2] – 2\sum_{k=0}^{n-1} \theta^{2k+1} E[X_{t-k} X_{t-k+1}] – 2E(e_t^2 + \theta e_{t-1}e_t) + \sigma_e^2 \\
&= \gamma_0 \sum_{k=0}^n \theta^{2k} + 2\gamma_1 \sum_{k=0}^{n-1} \theta^{2k+1} – 2\sigma_e^2 + \sigma_e^2 \\
&= (1 + \theta^2) \sigma_e^2 \sum_{k=0}^n \theta^{2k} – 2\theta\sigma_e^2 \sum_{k=0}^{n-1} \theta^{2k+1} – \sigma_e^2 \\
&= \sigma_e^2 \theta^{2n + 2} \tag{9}
\end{align}
我们希望当 $n \rightarrow \infty$ 时，$E\bigg[ \bigg(\sum\limits_{k=0}^n (-\theta)^k X_{t-k} – e_t \bigg)^2 \bigg] \rightarrow 0$，即 $\sigma_e^2 \theta^{2n + 2} \rightarrow 0$，因此要求 $|\theta| < 1$，此时特征方程 $1 + \theta B = 0$ 的根 $|-1 / \beta| > 1$。