数理统计 Cheat Sheet 1：理解大数定理

Author: nex3z 2019-04-09

1. 辛钦大数定理

　　大量实验证实，随机事件 $A$ 的频率 $f_n(A)$ 随重复试验的次数 $n$ 的增大而稳定在一个常数附近，频率的稳定性是概率定义的客观基础，也符合直观上的认识。大数定律从理论上说明了频率的稳定性。

　　弱大数定理（辛钦大数定理）设 $X_1, X_2, \cdots$ 是相互独立、服从同一分布的随机变量序列，且具有数学期望 $E(X_k) = \mu$（$k = 1, 2, \cdots$）。计算前 $n$ 个变量的算术平均 $\frac{1}{n} \sum\limits_{k=1}^{n} X_k$，则对于任意 $\varepsilon > 0$，有

$$\begin{equation} \lim_{n \rightarrow \infty} P \Big\{ \Big\vert \frac{1}{n} \sum_{k=1}^{n} X_k – \mu \Big\vert < \varepsilon \Big\} = 1 \tag{1} \end{equation}$$

　　式 $(1)$ 中，$\Big\vert \frac{1}{n} \sum\limits_{k=1}^{n} X_k – \mu \Big\vert < \varepsilon$ 是一个随机事件，当 $n \rightarrow \infty$ 时，这个事件发生的概率趋于 $1$。

　　辛钦大数定理说明，对于独立同分布且具有均值 $\mu$ 的随机变量 $X_1, \cdots, X_n$，当 $n$ 很大时，它们的算数平均 $\frac{1}{n} \sum\limits_{k=1}^{n} X_k$ 很可能接近于 $\mu$。

2. 依概率收敛

　　依概率收敛　设 $Y_1, Y_2, \cdots, Y_n, \cdots$ 是一个随机变量序列，$a$ 是一个常数，若对于任意整数 $\varepsilon$，；有

$$\begin{equation} \lim_{n \rightarrow \infty} P\{ |Y_n – a| < \varepsilon \} = 1 \end{equation}$$

则称序列 $Y_1, Y_2, \cdots, Y_n, \cdots$ 依概率收敛于 $a$，记为

$$\begin{equation} Y_n \xrightarrow{P} a \end{equation}$$

　　设 $X_n \xrightarrow{P} a$，$Y_n \xrightarrow{P} b$，又设函数 $g(x, y)$ 在点 $(a, b)$ 连续，则有

$$\begin{equation} g(X_n, Y_n) \xrightarrow{P} g(a, b) \end{equation}$$

　　使用依概率收敛的定义，辛钦大数定理可以叙述为：

　　弱大数定理（辛钦大数定理）设随机变量 $X_1, X_2, \cdots, X_n, \cdots$ 相互独立，服从同一分布且具有数学期望 $E(X_k) = \mu$（$k = 1, 2, \cdots$），则序列 $\overline{X} = \frac{1}{n} \sum\limits_{k=1}^{n} X_k$ 依概率收敛于 $\mu$，即 $\overline{X} \xrightarrow{P} \mu$。

3. 伯努利大数定理

　　假设试验 $X$ 为伯努利试验，只有 $A$ 和 $\overline{A}$ 两个可能的结果，事件 $A$ 发生的概率为 $p$。在式 $(1)$ 中，将 $X_1, \cdots, X_n$ 看成是 $n$ 重伯努利试验，则其中事件 $A$ 发生的次数 $f_A$ 服从参数为 $(n, p)$ 的二项分布，即 $f_A ~ b(n, p)$，且有

$$\begin{equation} f_A = X_1 + X_2 + \cdots + X_n \end{equation}$$

即

$$\begin{equation} \sum_{k=1}^{n} X_k = f_A \end{equation}$$

由于 $X_1, \cdots, X_n$ 相互独立，且服从参数为 $p$ 的 $(0-1)$ 分布，故有

$$\begin{equation} \mu = E(X_k) = p, \quad k = 1, 2, \cdots, n \end{equation}$$

将以上两式带入式 $(1)$，可以得到辛钦大数定律的一个重要推论：

　　伯努利大数定理　设 $f_A$ 是 $n$ 次独立重复试验中事件 $A$ 发生的次数，$p$ 是事件 $A$ 在每次试验中发生的概率，则对于任意正数 $\varepsilon > 0$，有

$$\begin{equation} \lim_{n \rightarrow \infty} P \Big\{ \Big\vert \frac{f_A}{n} – p \Big\vert < \varepsilon \Big\} = 1 \tag{2} \end{equation}$$

或

$$\begin{equation} \lim_{n \rightarrow \infty} P \Big\{ \Big\vert \frac{f_A}{n} – p \Big\vert \geq \varepsilon \Big\} = 0 \tag{3} \end{equation}$$

　　伯努利大数定理表明，对于任意 $\varepsilon > 0$，只要独立重复试验的次数 $n$ 充分大，事件 $\Big\{ \Big\vert \frac{f_A}{n} – p \Big\vert \geq \varepsilon \Big\}$ 是一个小概率事件，频率 $\frac{f_A}{n}$ 与概率 $p$ 的偏差小于 $\varepsilon$ 实际上几乎是必然发生的。这就是所谓频率稳定性的真正含义。在实际应用中，如果实验次数很大，就可以用事件的频率代替事件的概率。