概率论 Cheat Sheet 8:其他离散型概率分布
Contents [show]
1. 几何随机变量
在独立重复试验中,每次成功的概率为 p,0<p<1,重复试验直到试验首次成功为止,令 X 表示需要试验的次数,使 X=n 的充分必要条件是前 n–1 次试验失败,而第 n 次试验成功。又因假定各次试验是独立的,有
P{X=n}=(1–p)n–1pn=1,2,⋯
若随机变量的分布列由式 (1) 给出,则称该随机变量是参数为 p 的几何(Geometric)随机变量。
由于
∞∑n=1P{X=n}=p∞∑n=1(1–p)n–1=p1–(1–p)=1
故试验最终会成功的概率是 1。
记 q=1–p,有
E[X]=∞∑i=1iqi–1p=∞∑i=1(i–1+1)qi–1p=∞∑i=1(i–1)qi–1p+∞∑i=1qi–1p=∞∑j=0jqjp+1令j=i–1,又因∞∑i=1qi–1p=p∞∑i=1(1–p)i–1=1=q∞∑j=0jqj–1p+1=qE[X]+1=(1–p)E[X]+1
由上式解得
E[X]=1p
即一个成功概率为 p 的试验,如果独立重复进行直到试验成功,则需要进行的试验次数的期望等于 1p。例如重复投掷一枚骰子直到出现点数为 1,则投掷次数的期望为 6。
类似地,计算 E[X2] 如下
E[X2]=∞∑i=1i2qi–1p=∞∑i=1(i–1+1)2qi–1p=∞∑i=1(i–1)2qi–1p+∞∑i=12(i–1)qi–1p+∞∑i=1qi–1p=∞∑j=0j2qjp+2∞∑j=0jqjp+1令j=i–1=qE[X2]+2qE[X]+1=qE[X2]+2qp+1
由上式解得
E[X2]=2q+pp2=q+1p2
于是可以计算 Var(X) 为
Var(X)=E[X2]–(E[X])2=q+1p2–1p2=qp2=1–pp2
2. 负二项随机变量
假定独立重复试验中,每次成功的概率为 p,0<p<1,试验持续进行直到试验累计成功 r 次为止,令 X 表示试验的总次数,则
P{X=n}=(n–1r–1)pr(1–p)n–rn=r,r+1,⋯
要使得第 n 次试验时,恰好 r 次实验成功,那么前 n–1 次试验中必有 r–1 次成功,且第 n 次试验是成功的。前 n–1 次试验中有 r–1 次成功的概率为 (n–1r–1)pr–1(1–p)n–r,而第 n 次试验成功的概率为 p,这两事件相互独立,将这两个概率相乘即得到式 (4)。
对于任意随机变量 X,如果 X 的分布列由式 (4) 给出,则称 X 是参数为 (r,p) 的负二项(Negative Binomial)随机变量。
得到 r 次成功所需要的试验次数可以分解为 Y1+Y2+⋯+Yr,其中 Y1 表示第 1 次成功时试验的次数,Yi(1<i≤r) 表示第 i–1 次成功之后,直到第 i 次成功所需的试验次数。因为试验是相互独立的,且每次成功的概率都是 p,于是 Y1,Y2,⋯,Yr 都为几何随机变量。几何随机变量 Yi 都是以概率 1 取有限值,所以 ∑ri=1Yi 一定为有限值。这表明如果试验一直进行下去,那么最终一定能得到 r 次成功,也就是有
∞∑n=rP{X=n}=∞∑n=r(n–1r–1)pr(1–p)n–r=1
计算 E[Xk] 如下
E[Xk]=∞∑n=rnk(n–1r–1)pr(1–p)n–r=rp∞∑n=rnk–1(nr)pr+1pr(1–p)n–r因为n(n–1r–1)=r(nr)=rp∞∑m=r+1(m–1)k–1(m–1r)pr+1(1–p)m–(r+1)令m=n+1=rpE[(Y–1)k–1]
其中 Y 是参数为 (r+1,p) 的负二项随机变量。
在式 (5) 中令 k=1,得到
E[X]=rp
在式 (5) 中令 k=2,得到
E[X2]=rpE[Y–1]=rp(r+1p–1)
Var(X)=rp(r+1p–1)–(rp)2=r(1–p)p2
由式 (6),式 (7) 可知,独立重复试验中,如果每次试验成功的概率为 p,则累计 r 次成功的总试验次数的期望和方差分别为 rp 和 r(1–p)p2。
几何随机变量可以看做参数 r=1 的负二项随机变量,由式 (6),式 (7) 也可以得到几何随机变量的期望和方差为 1p 和 1–pp2,与前面的结论相符。
3. 超几何随机变量
设一个坛子里有 N 个球,其中有 m 个白球,N–m 个黑球,从中随机地(无放回)取出 n 个球,令 X 表示取出来的白球数,则
P{X=i}=(mi)(N–mn–i)(Nn)i=0,1,⋯,n
对于随机变量 X,如果其概率分布形如式 (8),其中 n,N,m 的值给定,则称 X 为参数为 (n,N,m) 的超几何(Hyper Geometric)随机变量。
如前所述,N 个球中白球的比例为 p=mN,从中无放回地随机取出 n 个球,取出白球的数量为超几何随机变量。如果对于 n 来说,m 和 N 很大的话,不管前面取了哪个球,接下来取到白球的概率仍然近似等于 p,此时无放回和又放回没什么区别。也就是说,当 m 和 N 比 n 大得多时,X 的分布列应该近似等于参数为 (n,p) 的二项随机变量的分布列。对于超几何随机变量 X 以及 i≤n,有
P{X=i}=(mi)(N–mn–i)(Nn)=m!(m–i)!i!⋅(N–m)!(N–m–n+i)!(n–i)!⋅(N–n)!n!N!=n!(n–i!)i!⋅m!(m–i)!⋅(N–m)!(N–m–n+i)!⋅(N–n)!N!=(ni)⋅(mN⋅m–1N–1⋯m–i+1N–i+1)⋅(N–mN–i⋅N–m–1N–i–1⋅N–m–(n–i–1)N–i–(n–i–1))
令 p=mN,当 m 和 N 相对于 n 和 i 很大时,上式可以近似为
P{X=i}≈(ni)pi(1–p)n–i
此时 X 近似为参数为 (n,p) 的二项分布。
计算 E[Xk] 如下
E[Xk]=n∑i=0ikP{X=i}=n∑i=1(mi)(N–mn–i)(Nn)
利用恒等式
i(mi)=m(m–1i–1)n(Nn)=N(N–1n–1)
得
E[Xk]=nmNn∑i=1(m–1i–1)(N–mn–i)(N–1n–1)=nmNn–1∑j=0(m–1j)(N–mn–1–j)(N–1n–1)令j=i+1=nmNE[(Y+1)k–1]
其中 Y 是参数为 (n–1,N–1,m–1) 的超几何变量。
在式 (9) 中令 k=1,得到
E[X]=mnN
也就是说,从 N 个球(其中有 m 个白球)中随机抽取 n 个,得到白球数量的期望为 mnN。
在式 (9) 中令 k=2,得到
E[X2]=mnNE[Y+1]=mnN[(n–1)(m–1)N–1+1]
Var(X)=mnNE[Y+1]=mnN[(n–1)(m–1)N–1+1–mnN]
令 p=mN,且由
m–1N–1=Np–1N–1=p–1–pN–1
得到
Var(X)=np[(n–1)(p–1–pN–1)+1–np]=np(1–p)(1–n–1N–1)
4. ζ 分布
如果一个随机变量由如下的分布列:
P{X=k}=Ckα+1k=1,2,⋯
其中 α>0 为参数,则称随机变量服从 ζ 分布(有时也称为 Zipf 分布)。因为概率之和必然等于 1,所以有
C=[∞∑k=1(1k)α+1]−1
ζ 分布的名称来源于以下函数
ζ(s)=1+(12)s+(13)s+⋯+(1k)s+⋯
上式称为黎曼 ζ 函数。
ζ 分布曾用于描述某个国家的家庭收入的分布。它的一个应用见这里。