概率论 Cheat Sheet 8:其他离散型概率分布

1. 几何随机变量

  在独立重复试验中,每次成功的概率为 $p$,$0 < p < 1$,重复试验直到试验首次成功为止,令 $X$ 表示需要试验的次数,使 $X = n$ 的充分必要条件是前 $n – 1$ 次试验失败,而第 $n$ 次试验成功。又因假定各次试验是独立的,有

\begin{equation}
P\{X = n\} = (1 – p)^{n – 1} p \qquad n = 1, 2, \cdots \tag{1}
\end{equation}

  若随机变量的分布列由式 $(1)$ 给出,则称该随机变量是参数为 $p$ 的几何(Geometric)随机变量。

  由于

\begin{equation}
\sum_{n = 1}^{\infty} P\{X = n\} = p\sum_{n = 1}^{\infty} (1 – p)^{n – 1} = \frac{p}{1 – (1 – p)} = 1
\end{equation}

故试验最终会成功的概率是 $1$。

  记 $q = 1 – p$,有

\begin{align}
E[X] &= \sum_{i = 1}^{\infty} iq^{i – 1}p = \sum_{i = 1}^{\infty} (i – 1 + 1)q^{i – 1}p \\
&= \sum_{i = 1}^{\infty} (i – 1)q^{i – 1}p + \sum_{i = 1}^{\infty} q^{i – 1}p \\
&= \sum_{j = 0}^{\infty} jq^jp + 1 \qquad 令 \; j = i – 1, \;又因 \sum_{i = 1}^{\infty} q^{i – 1}p = p\sum_{i = 1}^{\infty} (1 – p)^{i – 1} = 1 \\
&= q\sum_{j = 0}^{\infty} jq^{j – 1}p + 1 = qE[X] + 1 \\
&= (1 – p)E[X] + 1
\end{align}

由上式解得

\begin{equation}
E[X] = \frac{1}{p} \tag{2}
\end{equation}

即一个成功概率为 $p$ 的试验,如果独立重复进行直到试验成功,则需要进行的试验次数的期望等于 $\frac{1}{p}$。例如重复投掷一枚骰子直到出现点数为 $1$,则投掷次数的期望为 $6$。

  类似地,计算 $E[X^2]$ 如下

\begin{align}
E[X^2] &= \sum_{i = 1}^{\infty} i^2 q^{i – 1} p = \sum_{i = 1}^{\infty} (i – 1 + 1)^2 q^{i – 1} p \\
&= \sum_{i = 1}^{\infty} (i – 1)^2 q^{i – 1}p + \sum_{i = 1}^{\infty} 2(i – 1) q^{i – 1} p + \sum_{i = 1}^{\infty} q^{i – 1} p \\
&= \sum_{j = 0}^{\infty} j^2 q^j p + 2 \sum_{j = 0}^{\infty} j q^j p + 1 \qquad 令 \; j = i – 1 \\
&= qE[X^2] + 2qE[X] + 1 = qE[X^2] + \frac{2q}{p} + 1
\end{align}

由上式解得

\begin{equation}
E[X^2] = \frac{2q + p}{p^2} = \frac{q + 1}{p^2}
\end{equation}

于是可以计算 $Var(X)$ 为

\begin{equation}
Var(X) = E[X^2] – (E[X])^2 = \frac{q + 1}{p^2} – \frac{1}{p^2} = \frac{q}{p^2} = \frac{1 – p}{p^2} \tag{3}
\end{equation}

2. 负二项随机变量

  假定独立重复试验中,每次成功的概率为 $p$,$0 < p < 1$,试验持续进行直到试验累计成功 $r$ 次为止,令 $X$ 表示试验的总次数,则

\begin{equation}
P\{X = n\} = \binom{n – 1}{r – 1} p^r (1 – p)^{n – r} \qquad n = r, r + 1, \cdots \tag{4}
\end{equation}

要使得第 $n$ 次试验时,恰好 $r$ 次实验成功,那么前 $n – 1$ 次试验中必有 $r – 1$ 次成功,且第 $n$ 次试验是成功的。前 $n – 1$ 次试验中有 $r
– 1$ 次成功的概率为 $\binom{n – 1}{r – 1} p^{r – 1} (1 – p)^{n – r}$,而第 $n$ 次试验成功的概率为 $p$,这两事件相互独立,将这两个概率相乘即得到式 $(4)$。

  对于任意随机变量 $X$,如果 $X$ 的分布列由式 $(4)$ 给出,则称 $X$ 是参数为 $(r, p)$ 的负二项(Negative Binomial)随机变量。

  得到 $r$ 次成功所需要的试验次数可以分解为 $Y_1 + Y_2 + \cdots + Y_r$,其中 $Y_1$ 表示第 $1$ 次成功时试验的次数,$Y_i$($1 < i \leq r$) 表示第 $i – 1$ 次成功之后,直到第 $i$ 次成功所需的试验次数。因为试验是相互独立的,且每次成功的概率都是 $p$,于是 $Y_1, Y_2, \cdots, Y_r$ 都为几何随机变量。几何随机变量 $Y_i$ 都是以概率 $1$ 取有限值,所以 $\sum_{i = 1}^r Y_i$ 一定为有限值。这表明如果试验一直进行下去,那么最终一定能得到 $r$ 次成功,也就是有

\begin{equation}
\sum_{n=r}^{\infty} P\{X = n\} = \sum_{n=r}^{\infty} \binom{n – 1}{r – 1} p^r (1 – p)^{n – r} = 1
\end{equation}

  计算 $E[X^k]$ 如下

\begin{align}
E[X^k] &= \sum_{n=r}^{\infty} n^k \binom{n – 1}{r – 1} p^r (1 – p)^{n – r} \\
&= \frac{r}{p} \sum_{n = r}^{\infty} n^{k – 1} \binom{n}{r} p^{r + 1} p^r (1 – p)^{n – r} \qquad 因为 \; n\binom{n – 1}{r – 1} = r\binom{n}{r} \\
&= \frac{r}{p} \sum_{m = r + 1}^{\infty} (m – 1)^{k – 1} \binom{m – 1}{r} p^{r + 1} (1 – p)^{m – (r + 1)} \qquad 令 \; m = n + 1 \\
&= \frac{r}{p} E[(Y – 1)^{k – 1}] \tag{5}
\end{align}

其中 $Y$ 是参数为 $(r + 1, p)$ 的负二项随机变量。

  在式 $(5)$ 中令 $k = 1$,得到

\begin{equation}
E[X] = \frac{r}{p} \tag{6}
\end{equation}

  在式 $(5)$ 中令 $k = 2$,得到

\begin{equation}
E[X^2] = \frac{r}{p} E[Y – 1] = \frac{r}{p}(\frac{r + 1}{p} – 1)
\end{equation}

\begin{equation}
Var(X) = \frac{r}{p}(\frac{r + 1}{p} – 1) – (\frac{r}{p})^2 = \frac{r(1 – p)}{p^2} \tag{7}
\end{equation}

  由式 $(6)$,式 $(7)$ 可知,独立重复试验中,如果每次试验成功的概率为 $p$,则累计 $r$ 次成功的总试验次数的期望和方差分别为 $\frac{r}{p}$ 和 $\frac{r(1 – p)}{p^2}$。

  几何随机变量可以看做参数 $r = 1$ 的负二项随机变量,由式 $(6)$,式 $(7)$ 也可以得到几何随机变量的期望和方差为 $\frac{1}{p}$ 和 $\frac{1 – p}{p^2}$,与前面的结论相符。

3. 超几何随机变量

  设一个坛子里有 $N$ 个球,其中有 $m$ 个白球,$N – m$ 个黑球,从中随机地(无放回)取出 $n$ 个球,令 $X$ 表示取出来的白球数,则

\begin{equation}
P\{X = i\} = \frac{\binom{m}{i}\binom{N – m}{n – i}}{\binom{N}{n}} \qquad i = 0, 1, \cdots, n \tag{8}
\end{equation}

  对于随机变量 $X$,如果其概率分布形如式 $(8)$,其中 $n, N, m$ 的值给定,则称 $X$ 为参数为 $(n, N, m)$ 的超几何(Hyper Geometric)随机变量。

  如前所述,$N$ 个球中白球的比例为 $p = \frac{m}{N}$,从中无放回地随机取出 $n$ 个球,取出白球的数量为超几何随机变量。如果对于 $n$ 来说,$m$ 和 $N$ 很大的话,不管前面取了哪个球,接下来取到白球的概率仍然近似等于 $p$,此时无放回和又放回没什么区别。也就是说,当 $m$ 和 $N$ 比 $n$ 大得多时,$X$ 的分布列应该近似等于参数为 $(n, p)$ 的二项随机变量的分布列。对于超几何随机变量 $X$ 以及 $i \leq n$,有

\begin{align}
P\{X = i\} &= \frac{\binom{m}{i}\binom{N – m}{n – i}}{\binom{N}{n}} \\
&= \frac{m!}{(m – i)!i!} \cdot \frac{(N – m)!}{(N – m – n + i)!(n – i)!} \cdot \frac{(N – n)!n!}{N!} \\
&= \frac{n!}{(n – i!)i!} \cdot \frac{m!}{(m – i)!} \cdot \frac{(N – m)!}{(N – m – n + i)!} \cdot \frac{(N – n)!}{N!} \\
&= \binom{n}{i} \cdot \Big( \frac{m}{N} \cdot \frac{m – 1}{N – 1} \cdots \frac{m – i + 1}{N – i + 1} \Big) \cdot \Big( \frac{N – m}{N – i} \cdot \frac{N – m – 1}{N – i – 1} \cdot \frac{N – m – (n – i – 1)}{N – i – (n – i – 1)} \Big)
\end{align}

令 $p = \frac{m}{N}$,当 $m$ 和 $N$ 相对于 $n$ 和 $i$ 很大时,上式可以近似为

\begin{equation}
P\{X = i\} \approx \binom{n}{i} p^i (1 – p)^{n – i}
\end{equation}

此时 $X$ 近似为参数为 $(n, p)$ 的二项分布。

  计算 $E[X^k]$ 如下

\begin{equation}
E[X^k] = \sum_{i = 0}^{n} i^k P\{X = i\} = \sum_{i = 1}^{n} \frac{\binom{m}{i}\binom{N – m}{n – i}}{\binom{N}{n}}
\end{equation}

利用恒等式

\begin{equation}
i\binom{m}{i} = m\binom{m – 1}{i – 1} \qquad n\binom{N}{n} = N\binom{N – 1}{n – 1}
\end{equation}

\begin{align}
E[X^k] &= \frac{nm}{N} \sum_{i = 1}^{n} \frac{\binom{m – 1}{i – 1} \binom{N – m}{n – i}}{\binom{N – 1}{n – 1}} \\
&= \frac{nm}{N} \sum_{j = 0}^{n – 1} \frac{\binom{m – 1}{j} \binom{N – m}{n – 1 – j}}{\binom{N – 1}{n – 1}} \qquad 令 \; j = i + 1 \\
&= \frac{nm}{N}E[(Y + 1)^{k – 1}] \tag{9}
\end{align}

其中 $Y$ 是参数为 $(n – 1, N – 1, m – 1)$ 的超几何变量。

  在式 $(9)$ 中令 $k = 1$,得到

\begin{equation}
E[X] = \frac{mn}{N} \tag{10}
\end{equation}

也就是说,从 $N$ 个球(其中有 $m$ 个白球)中随机抽取 $n$ 个,得到白球数量的期望为 $\frac{mn}{N}$。

  在式 $(9)$ 中令 $k = 2$,得到

\begin{equation}
E[X^2] = \frac{mn}{N} E[Y + 1] = \frac{mn}{N} [\frac{(n – 1)(m – 1)}{N – 1} + 1]
\end{equation}

\begin{equation}
Var(X) = \frac{mn}{N} E[Y + 1] = \frac{mn}{N} [\frac{(n – 1)(m – 1)}{N – 1} + 1 – \frac{mn}{N}]
\end{equation}

令 $p = \frac{m}{N}$,且由

\begin{equation}
\frac{m – 1}{N – 1} = \frac{Np – 1}{N – 1} = p – \frac{1 – p}{N – 1}
\end{equation}

得到

\begin{equation}
Var(X) = np[(n – 1)(p – \frac{1 – p}{N – 1}) + 1 – np] = np(1 – p)(1 – \frac{n – 1}{N – 1}) \tag{11}
\end{equation}

4. $\zeta$ 分布

  如果一个随机变量由如下的分布列:

\begin{equation}
P\{X = k\} = \frac{C}{k^{\alpha + 1}} \qquad k = 1, 2, \cdots
\end{equation}

其中 $\alpha > 0$ 为参数,则称随机变量服从 $\zeta$ 分布(有时也称为 Zipf 分布)。因为概率之和必然等于 $1$,所以有

\begin{equation}
C = [\sum_{k = 1}^{\infty} (\frac{1}{k})^{\alpha + 1}]^{-1}
\end{equation}

  $\zeta$ 分布的名称来源于以下函数

\begin{equation}
\zeta(s) = 1 + (\frac{1}{2})^s + (\frac{1}{3})^s + \cdots + (\frac{1}{k})^s + \cdots
\end{equation}

上式称为黎曼 $\zeta$ 函数。

  $\zeta$ 分布曾用于描述某个国家的家庭收入的分布。它的一个应用见这里

Leave a Comment

电子邮件地址不会被公开。 必填项已用*标注