数理统计 Cheat Sheet 2：中心极限定理

Author: nex3z 2019-04-09

　　在现实中，有些事件的发生会受到大量相互独立的随机因素的影响，而其中每一个因素对事件的影响又是微弱的，此类事件往往近似服从正态分布。

1. 独立同分布的中心极限定理

　　定理一（独立同分布的中心极限定理）设随机变量 $X_1, X_2, \cdots, X_n, \cdots$ 相互独立，服从同一分布，且具有数学期望和方差 $E(X_k) = \mu, \; D(X_k) = \sigma^2 > 0$（$k = 1, 2, \cdots$），则随机变量之和 $\sum\limits_{k=1}^{n} X_k$ 的标准化变量

$$\begin{equation} Y_n = \frac{\sum\limits_{k=1}^{n} X_k – E\Big(\sum\limits_{k=1}^{n} X_k\Big)}{\sqrt{D\Big(\sum\limits_{k=1}^{n} X_k\Big)}} = \frac{\sum\limits_{k=1}^{n} X_k – n\mu}{\sqrt{n}\sigma} \end{equation}$$

的分布函数 $F_n(x)$ 对于任意 $x$ 满足

$$\begin{align} \lim_{n \rightarrow \infty} F_n(x) &= \lim_{n \rightarrow \infty} P \Bigg\{ \frac{\sum\limits_{k=1}^{n} X_k – n\mu}{\sqrt{n}\sigma} \leq x \Bigg\} \\ &= \int_{-\infty}^x \frac{1}{\sqrt{2\pi}} \mathrm{e}^{-t^2/2} \mathrm{d}t = \Phi(x) \tag{1} \end{align}$$

　　定理一说明，均值为 $\mu$，方差为 $\sigma^2$ 的独立同分布随机变量 $X_1, X_2, \cdots, X_n$ 之和 $\sum\limits_{k=1}^{n} X_k$ 的标准化变量，在当 $n$ 充分大时，有

$$\begin{equation} \frac{\sum\limits_{k=1}^{n} X_k – n\mu}{\sqrt{n}\sigma} \overset{近似地}{\sim} N(0, 1) \tag{2} \end{equation}$$

　　在一般情况下，很难求出 $n$ 个随机变量之和 $\sum\limits_{k=1}^{n} X_k$ 的分布函数，$(2)$ 式表明当 $n$ 充分大时，$\Phi(x)$ 可以给出其近似的分布。

　　$(2)$ 式等号左边可以写成

$$\begin{equation} \frac{\sum\limits_{k=1}^{n} X_k – n\mu}{\sqrt{n}\sigma} = \frac{\frac{1}{n}\sum\limits_{k=1}^{n} X_k – \mu}{\sigma/\sqrt{n}} = \frac{\overline{X} – \mu}{\sigma/\sqrt{n}} \end{equation}$$

于是有

$$\begin{equation} \frac{\overline{X} – \mu}{\sigma/\sqrt{n}} \overset{近似地}{\sim} N(0, 1) \quad 或 \quad \overline{X} \overset{近似地}{\sim} N(\mu, \sigma^2/n) \tag{3} \end{equation}$$

　　$(3)$ 式说明，当 $n$ 充分大时，均值为 $\mu$、方差为 $\sigma^2 > 0$ 的独立同分布随机变量 $X_1, X_2, \cdots, X_n$ 的算术平均 $\overline{X} = \frac{1}{n} \sum\limits_{k=1}^{n} X_k$ 近似地服从均值为 $\mu$、方差为 $\sigma^2/n$ 的正态分布。这是数理统计中大样本统计推断的基础。

2. 独立、非同分布的中心极限定理

　　定理二（李雅普诺夫（Lyapunov）定理）设随机变量 $X_1, X_2, \cdots, X_n, \cdots$ 相互独立，它们具有数学期望和方差

$$\begin{equation} E(X_k) = \mu_k, \quad D(X_k) = \sigma_k^2 > 0, \quad k = 1, 2, \cdots \end{equation}$$

记

$$\begin{equation} B_n^2 = \sum\limits_{k=1}^{n} \sigma_k^2 \end{equation}$$

若存在整数 $\delta$，使得当 $n \rightarrow \infty$ 时，

$$\begin{equation} \frac{1}{B_n^{2 + \delta}} \sum_{k=1}^n E\{|X_k – \mu_k|^{2 + \delta}\} \rightarrow 0 \end{equation}$$

则随机变量之和 $\sum\limits_{k=1}^{n} X_k$ 的标准化变量

$$\begin{equation} Z_n = \frac{\sum\limits_{k=1}^{n} X_k – E\Big(\sum\limits_{k=1}^{n} X_k\Big)}{\sqrt{D\Big(\sum\limits_{k=1}^{n} X_k\Big)}} = \frac{\sum\limits_{k=1}^{n} X_k – \sum\limits_{k=1}^{n} \mu_k}{B_n} \end{equation}$$

的分布函数 $F_n(x)$ 对于任意 $x$，满足

$$\begin{align} \lim_{n \rightarrow \infty} F_n(x) &= \lim_{n \rightarrow \infty} P \Bigg\{ \frac{\sum\limits_{k=1}^{n} X_k – \sum\limits_{k=1}^{n} \mu_k}{B_n} \leq x \Bigg\} \\ &= \int_{-\infty}^x \frac{1}{\sqrt{2\pi}} \mathrm{e}^{-t^2/2} \mathrm{d}t = \Phi(x) \tag{4} \end{align}$$

　　定理二表明，在定理的条件下，随机变量

$$\begin{equation} Z_n = \frac{\sum\limits_{k=1}^{n} X_k – \sum\limits_{k=1}^{n} \mu_k}{B_n} \end{equation}$$

当 $n$ 很大时，近似服从正态分布 $N(0, 1)$。由此，当 $n$ 很大时，$\sum\limits_{k=1}^{n} X_k = B_n Z_n + \sum\limits_{k=1}^{n} \mu_k$ 近似服从正态分布 $N(\sum\limits_{k=1}^{n} \mu_k, B_n^2)$。

　　注意定理二并没有要求各个随机变量 $X_k$（$k = 1, 2, \cdots$）服从什么分布，只要它们满足定理的条件，那么当 $n$ 很大时，它们的和 $\sum\limits_{k=1}^{n} X_k$ 就近似服从正态分布。

　　很多时候，我们所关心的问题受到多个独立随机因素的影响，即所研究的随机变量可以表示成多个独立的随机变量之和，如任意时刻一个城市的耗电量是大量用户耗电量之和、一个物理实验的测量误差由许多微小误差合成，它们往往近似服从正态分布。也正因此，正态随机变量在概率论中占有重要地位。

3. 独立二项分布的中心极限定理

　　在定理一中，假设 $X_k$ 均服从参数为 $p$ 的（0-1）分布，此时有 $\mu = p$，$\sigma^2 = p(1 – p)$（$k = 1, 2, \cdots$），代入式 $(1)$，可得

$$\begin{equation} \lim_{n \rightarrow \infty} P \Bigg\{ \frac{\sum\limits_{k=1}^{n} X_k – np}{\sqrt{np(1 – p)}} \leq x \Bigg\} = \Phi(x) \end{equation}$$

注意到 $\sum\limits_{k=1}^{n} X_k$ 服从参数为 $(n, p)$ 的二项分布，于是有：

　　定理三（棣莫弗—拉普拉斯（De Moivre – Laplace）定理）设随机变量 $\eta_n$（$n = 1, 2, \cdots$）服从参数为 $n, p$（$0 < p < 1$）的二项分布，则对于任意 $x$，有

$$\begin{equation} \lim_{n \rightarrow \infty} P\bigg\{ \frac{\eta_n – np}{\sqrt{np(1 – p)}} \leq x \bigg\} = \int_{-\infty}^x \frac{1}{\sqrt{2\pi}} \mathrm{e}^{-t^2/2} \mathrm{d}t = \Phi(x) \tag{5} \end{equation}$$

　　定理三是定理一的特殊情况。它表明正态分布是二项分布的极限分布，当 $n$ 充分大时，可以利用式 $(5)$ 来计算二项分布的概率。