概率论 Cheat Sheet 27：切比雪夫不等式和弱大数定律
在概率论中，极限定理是最重要的理论结果。极限定理中，最核心的是大数定律和中心极限定理。通常，大数定律是考虑随机变量序列的平均值（在某种条件下）收敛到某期望值。相比之下，中心极限定理证明大量随机变量之和的分布在某种条件下逼近正态分布。
马尔可夫不等式 设 $X$ 为取非负值得随机变量，则对于任何常数 $a > 0$，有
\begin{equation}
P\{X \geq a\} \leq \frac{E[X]}{a} \tag{1}
\end{equation}
对于 $a > 0$，令
\begin{equation}
I = \begin{cases}1 & 若 \; X \geq a \\
0 & 其他\end{cases}
\end{equation}
并且注意到，由于 $X \geq 0$，有
\begin{equation}
I \leq \frac{X}{a}
\end{equation}
对上式两边求期望，得
\begin{equation}
E[I] \leq \frac{1}{a} E[X]
\end{equation}
因为 $E[I] = P\{X \geq a\}$，故有式 $(1)$ 成立。
切比雪夫不等式 设 $X$ 是一随机变量，均值 $\mu$ 和方差 $\sigma^2$ 有限，则对任何 $k > 0$，有
\begin{equation}
P\{|X – \mu| > k\} \leq \frac{\sigma^2}{k} \tag{2}
\end{equation}
由于 $(X – \mu)^2$ 为非负随机变量，由马尔科夫不等式，令 $a = k^2$，得
\begin{equation}
P\{(X – \mu)^2 \geq k^2\} \leq \frac{E[(X – \mu)]^2}{k^2}
\end{equation}
由于 $(X – \mu)^2 \geq k^2$ 与 $|X – \mu| > k$ 是等价的，因此上式等价于
\begin{equation}
P\{|X – \mu| > k\} \leq \frac{E[(X – \mu)]^2}{k^2} = \frac{\sigma^2}{k^2}
\end{equation}
故有式 $(2)$ 成立。
马尔可夫不等式和切比雪夫不等式的重要性在于，我们能够在只知道分布的期望，或只知道分布的期望和方差时，利用它们导出概率上界。由于切比雪夫不等式适用于所有分布，在通常情况下，得到的概率上界与实际概率相差较大，不能用它来估计概率值本身。切比雪夫不等式作为一种理论工具，常用于证明之中。
命题 若 $\mathrm{Var}(X) = 0$，则
\begin{equation}
P\{X = E[X]\} = 1 \tag{3}
\end{equation}
也就是说，一个随机变量的方差为 $0$ 的充要条件是这个随机变量以概率 $1$ 等于常数。
利用切比雪夫不等式，对任何 $n \geq 1$，由于 $\mathrm{Var}(X) = 0$，有
\begin{equation}
P\Big\{ |X – \mu| > \frac{1}{n} \Big\} = 0
\end{equation}
令 $n \rightarrow \infty$，由概率的连续性性质，得
\begin{equation}
0 = \lim_{n \rightarrow \infty} P\Big\{ |X – \mu| > \frac{1}{n} \Big\} = P\Big\{ \lim_{n \rightarrow \infty}\Big\{|X – \mu| > \frac{1}{n} \Big\} \Big\} = p\{X \neq n\}
\end{equation}
于是有式 $(3)$ 成立。
弱大数定理 设 $X_1, X_2, \cdots$ 为独立同分布的随机变量序列，其公共期望 $E[X_i] = \mu$ 有限，则对任何 $\varepsilon > 0$，有
\begin{equation}
P\Big\{ \Big\vert \frac{X_1 + \cdots + X_n}{n} – \mu \Big\vert \geq \varepsilon \Big\} \rightarrow 0 \tag{4}
\end{equation}
当 $\mathrm{Var}(X_i) = \sigma^2$ 为有限时，由
\begin{equation}
E\Big[ \frac{X_1 + \cdots + X_n}{n} \Big] = \mu \qquad \mathrm{Var}\Big(\frac{X_1 + \cdots + X_n}{n}\Big) = \frac{\sigma^2}{n}
\end{equation}
由切比雪夫不等式，得
\begin{equation}
P\Big\{ \Big\vert \frac{X_1 + \cdots + X_n}{n} – \mu \Big\vert \geq \varepsilon \Big\} \leq \frac{\sigma^2}{n\varepsilon^2}
\end{equation}
于是有式 $(4)$ 成立。