数理统计 Cheat Sheet 1：理解大数定理
Contents
1. 辛钦大数定理
大量实验证实，随机事件 $A$ 的频率 $f_n(A)$ 随重复试验的次数 $n$ 的增大而稳定在一个常数附近，频率的稳定性是概率定义的客观基础，也符合直观上的认识。大数定律从理论上说明了频率的稳定性。
弱大数定理（辛钦大数定理）设 $X_1, X_2, \cdots$ 是相互独立、服从同一分布的随机变量序列，且具有数学期望 $E(X_k) = \mu$（$k = 1, 2, \cdots$）。计算前 $n$ 个变量的算术平均 $\frac{1}{n} \sum\limits_{k=1}^{n} X_k$，则对于任意 $\varepsilon > 0$，有
\begin{equation}
\lim_{n \rightarrow \infty} P \Big\{ \Big\vert \frac{1}{n} \sum_{k=1}^{n} X_k – \mu \Big\vert < \varepsilon \Big\} = 1 \tag{1}
\end{equation}
式 $(1)$ 中，$\Big\vert \frac{1}{n} \sum\limits_{k=1}^{n} X_k – \mu \Big\vert < \varepsilon$ 是一个随机事件，当 $n \rightarrow \infty$ 时，这个事件发生的概率趋于 $1$。
辛钦大数定理说明，对于独立同分布且具有均值 $\mu$ 的随机变量 $X_1, \cdots, X_n$，当 $n$ 很大时，它们的算数平均 $\frac{1}{n} \sum\limits_{k=1}^{n} X_k$ 很可能接近于 $\mu$。
2. 依概率收敛
依概率收敛 设 $Y_1, Y_2, \cdots, Y_n, \cdots$ 是一个随机变量序列，$a$ 是一个常数，若对于任意整数 $\varepsilon$，；有
\begin{equation}
\lim_{n \rightarrow \infty} P\{ |Y_n – a| < \varepsilon \} = 1
\end{equation}
则称序列 $Y_1, Y_2, \cdots, Y_n, \cdots$ 依概率收敛于 $a$，记为
\begin{equation}
Y_n \xrightarrow{P} a
\end{equation}
设 $X_n \xrightarrow{P} a$，$Y_n \xrightarrow{P} b$，又设函数 $g(x, y)$ 在点 $(a, b)$ 连续，则有
\begin{equation}
g(X_n, Y_n) \xrightarrow{P} g(a, b)
\end{equation}
使用依概率收敛的定义，辛钦大数定理可以叙述为：
弱大数定理（辛钦大数定理）设随机变量 $X_1, X_2, \cdots, X_n, \cdots$ 相互独立，服从同一分布且具有数学期望 $E(X_k) = \mu$（$k = 1, 2, \cdots$），则序列 $\overline{X} = \frac{1}{n} \sum\limits_{k=1}^{n} X_k$ 依概率收敛于 $\mu$，即 $\overline{X} \xrightarrow{P} \mu$。
3. 伯努利大数定理
假设试验 $X$ 为伯努利试验，只有 $A$ 和 $\overline{A}$ 两个可能的结果，事件 $A$ 发生的概率为 $p$。在式 $(1)$ 中，将 $X_1, \cdots, X_n$ 看成是 $n$ 重伯努利试验，则其中事件 $A$ 发生的次数 $f_A$ 服从参数为 $(n, p)$ 的二项分布，即 $f_A ~ b(n, p)$，且有
\begin{equation}
f_A = X_1 + X_2 + \cdots + X_n
\end{equation}
即
\begin{equation}
\sum_{k=1}^{n} X_k = f_A
\end{equation}
由于 $X_1, \cdots, X_n$ 相互独立，且服从参数为 $p$ 的 $(0-1)$ 分布，故有
\begin{equation}
\mu = E(X_k) = p, \quad k = 1, 2, \cdots, n
\end{equation}
将以上两式带入式 $(1)$，可以得到辛钦大数定律的一个重要推论：
伯努利大数定理 设 $f_A$ 是 $n$ 次独立重复试验中事件 $A$ 发生的次数，$p$ 是事件 $A$ 在每次试验中发生的概率，则对于任意正数 $\varepsilon > 0$，有
\begin{equation}
\lim_{n \rightarrow \infty} P \Big\{ \Big\vert \frac{f_A}{n} – p \Big\vert < \varepsilon \Big\} = 1 \tag{2}
\end{equation}
或
\begin{equation}
\lim_{n \rightarrow \infty} P \Big\{ \Big\vert \frac{f_A}{n} – p \Big\vert \geq \varepsilon \Big\} = 0 \tag{3}
\end{equation}
伯努利大数定理表明，对于任意 $\varepsilon > 0$，只要独立重复试验的次数 $n$ 充分大，事件 $\Big\{ \Big\vert \frac{f_A}{n} – p \Big\vert \geq \varepsilon \Big\}$ 是一个小概率事件，频率 $\frac{f_A}{n}$ 与概率 $p$ 的偏差小于 $\varepsilon$ 实际上几乎是必然发生的。这就是所谓频率稳定性的真正含义。在实际应用中，如果实验次数很大，就可以用事件的频率代替事件的概率。