数理统计 Cheat Sheet 1:理解大数定理
Contents [show]
1. 辛钦大数定理
大量实验证实,随机事件 A 的频率 fn(A) 随重复试验的次数 n 的增大而稳定在一个常数附近,频率的稳定性是概率定义的客观基础,也符合直观上的认识。大数定律从理论上说明了频率的稳定性。
弱大数定理(辛钦大数定理)设 X1,X2,⋯ 是相互独立、服从同一分布的随机变量序列,且具有数学期望 E(Xk)=μ(k=1,2,⋯)。计算前 n 个变量的算术平均 1nn∑k=1Xk,则对于任意 ε>0,有
limn→∞P{|1nn∑k=1Xk–μ|<ε}=1
式 (1) 中,|1nn∑k=1Xk–μ|<ε 是一个随机事件,当 n→∞ 时,这个事件发生的概率趋于 1。
辛钦大数定理说明,对于独立同分布且具有均值 μ 的随机变量 X1,⋯,Xn,当 n 很大时,它们的算数平均 1nn∑k=1Xk 很可能接近于 μ。
2. 依概率收敛
依概率收敛 设 Y1,Y2,⋯,Yn,⋯ 是一个随机变量序列,a 是一个常数,若对于任意整数 ε,;有
limn→∞P{|Yn–a|<ε}=1
则称序列 Y1,Y2,⋯,Yn,⋯ 依概率收敛于 a,记为
YnP→a
设 XnP→a,YnP→b,又设函数 g(x,y) 在点 (a,b) 连续,则有
g(Xn,Yn)P→g(a,b)
使用依概率收敛的定义,辛钦大数定理可以叙述为:
弱大数定理(辛钦大数定理)设随机变量 X1,X2,⋯,Xn,⋯ 相互独立,服从同一分布且具有数学期望 E(Xk)=μ(k=1,2,⋯),则序列 ¯X=1nn∑k=1Xk 依概率收敛于 μ,即 ¯XP→μ。
3. 伯努利大数定理
假设试验 X 为伯努利试验,只有 A 和 ¯A 两个可能的结果,事件 A 发生的概率为 p。在式 (1) 中,将 X1,⋯,Xn 看成是 n 重伯努利试验,则其中事件 A 发生的次数 fA 服从参数为 (n,p) 的二项分布,即 fA b(n,p),且有
fA=X1+X2+⋯+Xn
即
n∑k=1Xk=fA
由于 X1,⋯,Xn 相互独立,且服从参数为 p 的 (0−1) 分布,故有
μ=E(Xk)=p,k=1,2,⋯,n
将以上两式带入式 (1),可以得到辛钦大数定律的一个重要推论:
伯努利大数定理 设 fA 是 n 次独立重复试验中事件 A 发生的次数,p 是事件 A 在每次试验中发生的概率,则对于任意正数 ε>0,有
limn→∞P{|fAn–p|<ε}=1
或
limn→∞P{|fAn–p|≥ε}=0
伯努利大数定理表明,对于任意 ε>0,只要独立重复试验的次数 n 充分大,事件 {|fAn–p|≥ε} 是一个小概率事件,频率 fAn 与概率 p 的偏差小于 ε 实际上几乎是必然发生的。这就是所谓频率稳定性的真正含义。在实际应用中,如果实验次数很大,就可以用事件的频率代替事件的概率。