概率论 Cheat Sheet 21:期望的性质
Contents [show]
1. 期望的定义
离散型随机变量 X 的期望定义为
E[X]=∑xxp(x)
其中 p(x) 是离散型随机变量 X 的分布列。
连续型随机变量 X 的期望定义为
E[X]=∫∞−∞xf(x)dx
其中 f(x) 是 X 的密度函数。
因为 E[X] 可看成是随机变量 X 的所有可能取值的加权平均,如果 X 位于 a 和 b 之间,那么 E[X] 的取值也必定位于 X 的这两个极值 a 和 b 之间,即如果
P{a≤X≤b}=1
那么
a≤E[X]≤b
2. 随机变量和的期望
命题 对于随机变量 X 和 Y,以及二元函数 g,如果 X,Y 服从二元分布列 p(x,y),那么有
E[g(X,Y)]=∑x∑yg(x,y)p(x,y)
如果 X,Y 具有联合分布密度 f(x,y),那么
E[g(X,Y)]=∫∞−∞∫∞−∞g(x,y)f(x,y)dxdy
如果 E[X] 和 E[Y] 都是有限的,并令 g(x,y)=X+Y。在 (X,Y) 是连续的情况下,由上述命题,有
E[X+Y]=∫∞−∞∫∞−∞(x+y)f(x,y)dxdy=∫∞−∞∫∞−∞xf(x,y)dx+∫∞−∞∫∞−∞yf(x,y)dy=∫∞−∞xfX(x)dx+∫∞−∞yfY(y)dy=E[X]+E[Y]
一般情况下,上述结论仍成立,即当 E[X] 和 E[Y] 均有限时,有
E[X+Y]=E[X]+E[Y]
由式 (3),通过归纳法可以证明,对于任意一组随机变量 Xi(i=1,2,⋯,n),只要它们的期望有限,则有
E[X1+⋯+Xn]=E[X1]+⋯+E[Xn]
样本均值 设 X1,⋯,Xn 为独立同分布的随机变量序列,其分布函数为 F,期望值为 μ,称这样的随机变量序列为来自分布 F 的一组样本,定义
¯X=n∑i=1Xin
¯X 称为样本均值,其期望为
E[¯X]=E[n∑i=1Xin]=1nE[n∑i=1Xi]=μ
布尔不等式 设 A1,⋯,An 为 n 个事件,记 Xi(i=1,⋯,n)为这些事件的示性变量,即
Xi={1若Ai发生0其他
记
X=n∑i=1Xi
则 X 是 Ai 这一系列事件在试验中发生的次数。令
Y={1若X≤10其他
则当 Ai(i=1,⋯,n)中至少有一个发生时 Y=1,否则 Y=0。由此有 X≥Y,从而 E[X]≥E[Y]。又因为
E[X]=n∑i=1E[Xi]=n∑i=1P(Ai)
及
E[Y]=P{Ai中至少有一个发生}=P(n⋃i=1Ai)
故有
P(n⋃i=1Ai)≤n∑i=1P(Ai)
上式称为布尔(Boole)不等式。
2.1. 二项随机变量的期望
设 X 是参数为 (n,p) 的二项随机变量,记 Xi(1≤i≤n)为第 i 次试验成功的示性变量,即
Xi={1若第i次试验成功0若第i次试验失败
Xi 是一个伯努利随机变量,期望为 E[Xi]=1×p+0×(1–p)=p。因为 X 表示 n 次独立重复试验中成功的次数,故有
X=X1+⋯+Xn
由式 (5),得
E[X]=E[X1+⋯+Xn]=E[X1]+⋯+E[Xn]=np
这与前文通过期望的定义计算得到的结果一致。
2.2. 负二项随机变量的期望
设 X 是参数为 (r,p) 的负二项随机变量,则 X 可以表示进行一系列成功概率为 p 的独立重复试验,直到累计成功 r 次的试验次数。记 X1 为第 1 次试验成功所需的试验次数,Xi(i>1)表示第 i–1 次成功后、到第 i 次成功所需的试验次数,则 Xi 服从参数为 p 的几何分布,有 E[Xi]=1p(i=1,⋯,r)。又由 X=X1+⋯+Xn,于是
E[X]=E[X1+⋯+Xn]=E[X1]+⋯+E[Xn]=rp
这也与前文通过期望的定义计算得到的结果一致。
2.3. 超几何随机变量的期望
设 X 是参数为 (n,N,m) 的负二项随机变量,则 X 可以表示坛子里有 N 个球,其中有 m 个白球,随机取出 n 个球中白球的个数。记 Xi(1≤i≤m)为第 i 个白球被取出的示性变量,即
Xi={1若第i个白球被取出0其他
于是
E[Xi]=P{Xi=1}=P{第i个白球被取出}=(11)(N–1n–1)(Nn)=nN
又由 X=X1+⋯+Xm,于是
E[X]=E[X1]+⋯+E[Xm]=mnN
另一方面,如果记 Yi 为第 i(1≤i≤n)次取出的球是白球的示性变量,即
Yi={1若第i取出的球是白球0其他
于是
E[Yi]=mN
又由 X=X1+⋯+Xn,于是
E[X]=E[X1]+⋯+E[Xn]=mnN
以上结果也都与前文通过期望的定义计算得到的结果一致。
2.4. 通过概率方法将期望值作为界
设 f 为定义在有限集 A 上的函数,假定我们对该函数的最大值感兴趣
m=maxs∈Af(s)
为得到 m 的下界,令 S 为取值于 A 的随机元,由 m≥f(S) 可知
m≥E[f(S)]
当 f(S) 不是常数值随机变量时,上述不等式时严格不等的,不会出现 m=E[f(S)] 的情况,即 E[f(S)] 是最大值 m 的下界。