Loading [MathJax]/jax/output/HTML-CSS/jax.js

数理统计 Cheat Sheet 1:理解大数定理

1. 辛钦大数定理

  大量实验证实,随机事件 A 的频率 fn(A) 随重复试验的次数 n 的增大而稳定在一个常数附近,频率的稳定性是概率定义的客观基础,也符合直观上的认识。大数定律从理论上说明了频率的稳定性。

  弱大数定理(辛钦大数定理)设 X1,X2, 是相互独立、服从同一分布的随机变量序列,且具有数学期望 E(Xk)=μk=1,2,)。计算前 n 个变量的算术平均 1nnk=1Xk,则对于任意 ε>0,有

limnP{|1nnk=1Xkμ|<ε}=1

  式 (1) 中,|1nnk=1Xkμ|<ε 是一个随机事件,当 n 时,这个事件发生的概率趋于 1

  辛钦大数定理说明,对于独立同分布且具有均值 μ 的随机变量 X1,,Xn,当 n 很大时,它们的算数平均 1nnk=1Xk 很可能接近于 μ

2. 依概率收敛

  依概率收敛 设 Y1,Y2,,Yn, 是一个随机变量序列,a 是一个常数,若对于任意整数 ε,;有

limnP{|Yna|<ε}=1

则称序列 Y1,Y2,,Yn, 依概率收敛于 a,记为

YnPa

  设 XnPaYnPb,又设函数 g(x,y) 在点 (a,b) 连续,则有

g(Xn,Yn)Pg(a,b)

  使用依概率收敛的定义,辛钦大数定理可以叙述为:

  弱大数定理(辛钦大数定理)设随机变量 X1,X2,,Xn, 相互独立,服从同一分布且具有数学期望 E(Xk)=μk=1,2,),则序列 ¯X=1nnk=1Xk 依概率收敛于 μ,即 ¯XPμ

3. 伯努利大数定理

  假设试验 X 为伯努利试验,只有 A¯A 两个可能的结果,事件 A 发生的概率为 p。在式 (1) 中,将 X1,,Xn 看成是 n 重伯努利试验,则其中事件 A 发生的次数 fA 服从参数为 (n,p) 的二项分布,即 fA b(n,p),且有

fA=X1+X2++Xn

nk=1Xk=fA

由于 X1,,Xn 相互独立,且服从参数为 p(01) 分布,故有

μ=E(Xk)=p,k=1,2,,n

将以上两式带入式 (1),可以得到辛钦大数定律的一个重要推论:

  伯努利大数定理 设 fAn 次独立重复试验中事件 A 发生的次数,p 是事件 A 在每次试验中发生的概率,则对于任意正数 ε>0,有

limnP{|fAnp|<ε}=1

limnP{|fAnp|ε}=0

  伯努利大数定理表明,对于任意 ε>0,只要独立重复试验的次数 n 充分大,事件 {|fAnp|ε} 是一个小概率事件,频率 fAn 与概率 p 的偏差小于 ε 实际上几乎是必然发生的。这就是所谓频率稳定性的真正含义。在实际应用中,如果实验次数很大,就可以用事件的频率代替事件的概率。