Processing math: 100%

概率论 Cheat Sheet 8:其他离散型概率分布

1. 几何随机变量

  在独立重复试验中,每次成功的概率为 p0<p<1,重复试验直到试验首次成功为止,令 X 表示需要试验的次数,使 X=n 的充分必要条件是前 n1 次试验失败,而第 n 次试验成功。又因假定各次试验是独立的,有

P{X=n}=(1p)n1pn=1,2,

  若随机变量的分布列由式 (1) 给出,则称该随机变量是参数为 p几何(Geometric)随机变量。

  由于

n=1P{X=n}=pn=1(1p)n1=p1(1p)=1

故试验最终会成功的概率是 1

  记 q=1p,有

E[X]=i=1iqi1p=i=1(i1+1)qi1p=i=1(i1)qi1p+i=1qi1p=j=0jqjp+1j=i1,i=1qi1p=pi=1(1p)i1=1=qj=0jqj1p+1=qE[X]+1=(1p)E[X]+1

由上式解得

E[X]=1p

即一个成功概率为 p 的试验,如果独立重复进行直到试验成功,则需要进行的试验次数的期望等于 1p。例如重复投掷一枚骰子直到出现点数为 1,则投掷次数的期望为 6

  类似地,计算 E[X2] 如下

E[X2]=i=1i2qi1p=i=1(i1+1)2qi1p=i=1(i1)2qi1p+i=12(i1)qi1p+i=1qi1p=j=0j2qjp+2j=0jqjp+1j=i1=qE[X2]+2qE[X]+1=qE[X2]+2qp+1

由上式解得

E[X2]=2q+pp2=q+1p2

于是可以计算 Var(X)

Var(X)=E[X2](E[X])2=q+1p21p2=qp2=1pp2

2. 负二项随机变量

  假定独立重复试验中,每次成功的概率为 p0<p<1,试验持续进行直到试验累计成功 r 次为止,令 X 表示试验的总次数,则

P{X=n}=(n1r1)pr(1p)nrn=r,r+1,

要使得第 n 次试验时,恰好 r 次实验成功,那么前 n1 次试验中必有 r1 次成功,且第 n 次试验是成功的。前 n1 次试验中有 r1 次成功的概率为 (n1r1)pr1(1p)nr,而第 n 次试验成功的概率为 p,这两事件相互独立,将这两个概率相乘即得到式 (4)

  对于任意随机变量 X,如果 X 的分布列由式 (4) 给出,则称 X 是参数为 (r,p)负二项(Negative Binomial)随机变量。

  得到 r 次成功所需要的试验次数可以分解为 Y1+Y2++Yr,其中 Y1 表示第 1 次成功时试验的次数,Yi1<ir) 表示第 i1 次成功之后,直到第 i 次成功所需的试验次数。因为试验是相互独立的,且每次成功的概率都是 p,于是 Y1,Y2,,Yr 都为几何随机变量。几何随机变量 Yi 都是以概率 1 取有限值,所以 ri=1Yi 一定为有限值。这表明如果试验一直进行下去,那么最终一定能得到 r 次成功,也就是有

n=rP{X=n}=n=r(n1r1)pr(1p)nr=1

  计算 E[Xk] 如下

E[Xk]=n=rnk(n1r1)pr(1p)nr=rpn=rnk1(nr)pr+1pr(1p)nrn(n1r1)=r(nr)=rpm=r+1(m1)k1(m1r)pr+1(1p)m(r+1)m=n+1=rpE[(Y1)k1]

其中 Y 是参数为 (r+1,p) 的负二项随机变量。

  在式 (5) 中令 k=1,得到

E[X]=rp

  在式 (5) 中令 k=2,得到

E[X2]=rpE[Y1]=rp(r+1p1)

Var(X)=rp(r+1p1)(rp)2=r(1p)p2

  由式 (6),式 (7) 可知,独立重复试验中,如果每次试验成功的概率为 p,则累计 r 次成功的总试验次数的期望和方差分别为 rpr(1p)p2

  几何随机变量可以看做参数 r=1 的负二项随机变量,由式 (6),式 (7) 也可以得到几何随机变量的期望和方差为 1p1pp2,与前面的结论相符。

3. 超几何随机变量

  设一个坛子里有 N 个球,其中有 m 个白球,Nm 个黑球,从中随机地(无放回)取出 n 个球,令 X 表示取出来的白球数,则

P{X=i}=(mi)(Nmni)(Nn)i=0,1,,n

  对于随机变量 X,如果其概率分布形如式 (8),其中 n,N,m 的值给定,则称 X 为参数为 (n,N,m)超几何(Hyper Geometric)随机变量。

  如前所述,N 个球中白球的比例为 p=mN,从中无放回地随机取出 n 个球,取出白球的数量为超几何随机变量。如果对于 n 来说,mN 很大的话,不管前面取了哪个球,接下来取到白球的概率仍然近似等于 p,此时无放回和又放回没什么区别。也就是说,当 mNn 大得多时,X 的分布列应该近似等于参数为 (n,p) 的二项随机变量的分布列。对于超几何随机变量 X 以及 in,有

P{X=i}=(mi)(Nmni)(Nn)=m!(mi)!i!(Nm)!(Nmn+i)!(ni)!(Nn)!n!N!=n!(ni!)i!m!(mi)!(Nm)!(Nmn+i)!(Nn)!N!=(ni)(mNm1N1mi+1Ni+1)(NmNiNm1Ni1Nm(ni1)Ni(ni1))

p=mN,当 mN 相对于 ni 很大时,上式可以近似为

P{X=i}(ni)pi(1p)ni

此时 X 近似为参数为 (n,p) 的二项分布。

  计算 E[Xk] 如下

E[Xk]=ni=0ikP{X=i}=ni=1(mi)(Nmni)(Nn)

利用恒等式

i(mi)=m(m1i1)n(Nn)=N(N1n1)

E[Xk]=nmNni=1(m1i1)(Nmni)(N1n1)=nmNn1j=0(m1j)(Nmn1j)(N1n1)j=i+1=nmNE[(Y+1)k1]

其中 Y 是参数为 (n1,N1,m1) 的超几何变量。

  在式 (9) 中令 k=1,得到

E[X]=mnN

也就是说,从 N 个球(其中有 m 个白球)中随机抽取 n 个,得到白球数量的期望为 mnN

  在式 (9) 中令 k=2,得到

E[X2]=mnNE[Y+1]=mnN[(n1)(m1)N1+1]

Var(X)=mnNE[Y+1]=mnN[(n1)(m1)N1+1mnN]

p=mN,且由

m1N1=Np1N1=p1pN1

得到

Var(X)=np[(n1)(p1pN1)+1np]=np(1p)(1n1N1)

4. ζ 分布

  如果一个随机变量由如下的分布列:

P{X=k}=Ckα+1k=1,2,

其中 α>0 为参数,则称随机变量服从 ζ 分布(有时也称为 Zipf 分布)。因为概率之和必然等于 1,所以有

C=[k=1(1k)α+1]1

  ζ 分布的名称来源于以下函数

ζ(s)=1+(12)s+(13)s++(1k)s+

上式称为黎曼 ζ 函数。

  ζ 分布曾用于描述某个国家的家庭收入的分布。它的一个应用见这里