概率论 Cheat Sheet 8：其他离散型概率分布
1. 几何随机变量
在独立重复试验中，每次成功的概率为 $p$，$0 < p < 1$，重复试验直到试验首次成功为止，令 $X$ 表示需要试验的次数，使 $X = n$ 的充分必要条件是前 $n – 1$ 次试验失败，而第 $n$ 次试验成功。又因假定各次试验是独立的，有
\begin{equation}
P\{X = n\} = (1 – p)^{n – 1} p \qquad n = 1, 2, \cdots \tag{1}
\end{equation}
若随机变量的分布列由式 $(1)$ 给出，则称该随机变量是参数为 $p$ 的几何（Geometric）随机变量。
由于
\begin{equation}
\sum_{n = 1}^{\infty} P\{X = n\} = p\sum_{n = 1}^{\infty} (1 – p)^{n – 1} = \frac{p}{1 – (1 – p)} = 1
\end{equation}
故试验最终会成功的概率是 $1$。
记 $q = 1 – p$，有
\begin{align}
E[X] &= \sum_{i = 1}^{\infty} iq^{i – 1}p = \sum_{i = 1}^{\infty} (i – 1 + 1)q^{i – 1}p \\
&= \sum_{i = 1}^{\infty} (i – 1)q^{i – 1}p + \sum_{i = 1}^{\infty} q^{i – 1}p \\
&= \sum_{j = 0}^{\infty} jq^jp + 1 \qquad 令 \; j = i – 1, \;又因 \sum_{i = 1}^{\infty} q^{i – 1}p = p\sum_{i = 1}^{\infty} (1 – p)^{i – 1} = 1 \\
&= q\sum_{j = 0}^{\infty} jq^{j – 1}p + 1 = qE[X] + 1 \\
&= (1 – p)E[X] + 1
\end{align}
由上式解得
\begin{equation}
E[X] = \frac{1}{p} \tag{2}
\end{equation}
即一个成功概率为 $p$ 的试验，如果独立重复进行直到试验成功，则需要进行的试验次数的期望等于 $\frac{1}{p}$。例如重复投掷一枚骰子直到出现点数为 $1$，则投掷次数的期望为 $6$。
类似地，计算 $E[X^2]$ 如下
\begin{align}
E[X^2] &= \sum_{i = 1}^{\infty} i^2 q^{i – 1} p = \sum_{i = 1}^{\infty} (i – 1 + 1)^2 q^{i – 1} p \\
&= \sum_{i = 1}^{\infty} (i – 1)^2 q^{i – 1}p + \sum_{i = 1}^{\infty} 2(i – 1) q^{i – 1} p + \sum_{i = 1}^{\infty} q^{i – 1} p \\
&= \sum_{j = 0}^{\infty} j^2 q^j p + 2 \sum_{j = 0}^{\infty} j q^j p + 1 \qquad 令 \; j = i – 1 \\
&= qE[X^2] + 2qE[X] + 1 = qE[X^2] + \frac{2q}{p} + 1
\end{align}
由上式解得
\begin{equation}
E[X^2] = \frac{2q + p}{p^2} = \frac{q + 1}{p^2}
\end{equation}
于是可以计算 $Var(X)$ 为
\begin{equation}
Var(X) = E[X^2] – (E[X])^2 = \frac{q + 1}{p^2} – \frac{1}{p^2} = \frac{q}{p^2} = \frac{1 – p}{p^2} \tag{3}
\end{equation}
2. 负二项随机变量
假定独立重复试验中，每次成功的概率为 $p$，$0 < p < 1$，试验持续进行直到试验累计成功 $r$ 次为止，令 $X$ 表示试验的总次数，则
\begin{equation}
P\{X = n\} = \binom{n – 1}{r – 1} p^r (1 – p)^{n – r} \qquad n = r, r + 1, \cdots \tag{4}
\end{equation}
要使得第 $n$ 次试验时，恰好 $r$ 次实验成功，那么前 $n – 1$ 次试验中必有 $r – 1$ 次成功，且第 $n$ 次试验是成功的。前 $n – 1$ 次试验中有 $r
– 1$ 次成功的概率为 $\binom{n – 1}{r – 1} p^{r – 1} (1 – p)^{n – r}$，而第 $n$ 次试验成功的概率为 $p$，这两事件相互独立，将这两个概率相乘即得到式 $(4)$。
对于任意随机变量 $X$，如果 $X$ 的分布列由式 $(4)$ 给出，则称 $X$ 是参数为 $(r, p)$ 的负二项（Negative Binomial）随机变量。
得到 $r$ 次成功所需要的试验次数可以分解为 $Y_1 + Y_2 + \cdots + Y_r$，其中 $Y_1$ 表示第 $1$ 次成功时试验的次数，$Y_i$（$1 < i \leq r$） 表示第 $i – 1$ 次成功之后，直到第 $i$ 次成功所需的试验次数。因为试验是相互独立的，且每次成功的概率都是 $p$，于是 $Y_1, Y_2, \cdots, Y_r$ 都为几何随机变量。几何随机变量 $Y_i$ 都是以概率 $1$ 取有限值，所以 $\sum_{i = 1}^r Y_i$ 一定为有限值。这表明如果试验一直进行下去，那么最终一定能得到 $r$ 次成功，也就是有
\begin{equation}
\sum_{n=r}^{\infty} P\{X = n\} = \sum_{n=r}^{\infty} \binom{n – 1}{r – 1} p^r (1 – p)^{n – r} = 1
\end{equation}
计算 $E[X^k]$ 如下
\begin{align}
E[X^k] &= \sum_{n=r}^{\infty} n^k \binom{n – 1}{r – 1} p^r (1 – p)^{n – r} \\
&= \frac{r}{p} \sum_{n = r}^{\infty} n^{k – 1} \binom{n}{r} p^{r + 1} p^r (1 – p)^{n – r} \qquad 因为 \; n\binom{n – 1}{r – 1} = r\binom{n}{r} \\
&= \frac{r}{p} \sum_{m = r + 1}^{\infty} (m – 1)^{k – 1} \binom{m – 1}{r} p^{r + 1} (1 – p)^{m – (r + 1)} \qquad 令 \; m = n + 1 \\
&= \frac{r}{p} E[(Y – 1)^{k – 1}] \tag{5}
\end{align}
其中 $Y$ 是参数为 $(r + 1, p)$ 的负二项随机变量。
在式 $(5)$ 中令 $k = 1$，得到
\begin{equation}
E[X] = \frac{r}{p} \tag{6}
\end{equation}
在式 $(5)$ 中令 $k = 2$，得到
\begin{equation}
E[X^2] = \frac{r}{p} E[Y – 1] = \frac{r}{p}(\frac{r + 1}{p} – 1)
\end{equation}
\begin{equation}
Var(X) = \frac{r}{p}(\frac{r + 1}{p} – 1) – (\frac{r}{p})^2 = \frac{r(1 – p)}{p^2} \tag{7}
\end{equation}
由式 $(6)$，式 $(7)$ 可知，独立重复试验中，如果每次试验成功的概率为 $p$，则累计 $r$ 次成功的总试验次数的期望和方差分别为 $\frac{r}{p}$ 和 $\frac{r(1 – p)}{p^2}$。
几何随机变量可以看做参数 $r = 1$ 的负二项随机变量，由式 $(6)$，式 $(7)$ 也可以得到几何随机变量的期望和方差为 $\frac{1}{p}$ 和 $\frac{1 – p}{p^2}$，与前面的结论相符。
3. 超几何随机变量
设一个坛子里有 $N$ 个球，其中有 $m$ 个白球，$N – m$ 个黑球，从中随机地（无放回）取出 $n$ 个球，令 $X$ 表示取出来的白球数，则
\begin{equation}
P\{X = i\} = \frac{\binom{m}{i}\binom{N – m}{n – i}}{\binom{N}{n}} \qquad i = 0, 1, \cdots, n \tag{8}
\end{equation}
对于随机变量 $X$，如果其概率分布形如式 $(8)$，其中 $n, N, m$ 的值给定，则称 $X$ 为参数为 $(n, N, m)$ 的超几何（Hyper Geometric）随机变量。
如前所述，$N$ 个球中白球的比例为 $p = \frac{m}{N}$，从中无放回地随机取出 $n$ 个球，取出白球的数量为超几何随机变量。如果对于 $n$ 来说，$m$ 和 $N$ 很大的话，不管前面取了哪个球，接下来取到白球的概率仍然近似等于 $p$，此时无放回和又放回没什么区别。也就是说，当 $m$ 和 $N$ 比 $n$ 大得多时，$X$ 的分布列应该近似等于参数为 $(n, p)$ 的二项随机变量的分布列。对于超几何随机变量 $X$ 以及 $i \leq n$，有
\begin{align}
P\{X = i\} &= \frac{\binom{m}{i}\binom{N – m}{n – i}}{\binom{N}{n}} \\
&= \frac{m!}{(m – i)!i!} \cdot \frac{(N – m)!}{(N – m – n + i)!(n – i)!} \cdot \frac{(N – n)!n!}{N!} \\
&= \frac{n!}{(n – i!)i!} \cdot \frac{m!}{(m – i)!} \cdot \frac{(N – m)!}{(N – m – n + i)!} \cdot \frac{(N – n)!}{N!} \\
&= \binom{n}{i} \cdot \Big( \frac{m}{N} \cdot \frac{m – 1}{N – 1} \cdots \frac{m – i + 1}{N – i + 1} \Big) \cdot \Big( \frac{N – m}{N – i} \cdot \frac{N – m – 1}{N – i – 1} \cdot \frac{N – m – (n – i – 1)}{N – i – (n – i – 1)} \Big)
\end{align}
令 $p = \frac{m}{N}$，当 $m$ 和 $N$ 相对于 $n$ 和 $i$ 很大时，上式可以近似为
\begin{equation}
P\{X = i\} \approx \binom{n}{i} p^i (1 – p)^{n – i}
\end{equation}
此时 $X$ 近似为参数为 $(n, p)$ 的二项分布。
计算 $E[X^k]$ 如下
\begin{equation}
E[X^k] = \sum_{i = 0}^{n} i^k P\{X = i\} = \sum_{i = 1}^{n} \frac{\binom{m}{i}\binom{N – m}{n – i}}{\binom{N}{n}}
\end{equation}
利用恒等式
\begin{equation}
i\binom{m}{i} = m\binom{m – 1}{i – 1} \qquad n\binom{N}{n} = N\binom{N – 1}{n – 1}
\end{equation}
得
\begin{align}
E[X^k] &= \frac{nm}{N} \sum_{i = 1}^{n} \frac{\binom{m – 1}{i – 1} \binom{N – m}{n – i}}{\binom{N – 1}{n – 1}} \\
&= \frac{nm}{N} \sum_{j = 0}^{n – 1} \frac{\binom{m – 1}{j} \binom{N – m}{n – 1 – j}}{\binom{N – 1}{n – 1}} \qquad 令 \; j = i + 1 \\
&= \frac{nm}{N}E[(Y + 1)^{k – 1}] \tag{9}
\end{align}
其中 $Y$ 是参数为 $(n – 1, N – 1, m – 1)$ 的超几何变量。
在式 $(9)$ 中令 $k = 1$，得到
\begin{equation}
E[X] = \frac{mn}{N} \tag{10}
\end{equation}
也就是说，从 $N$ 个球（其中有 $m$ 个白球）中随机抽取 $n$ 个，得到白球数量的期望为 $\frac{mn}{N}$。
在式 $(9)$ 中令 $k = 2$，得到
\begin{equation}
E[X^2] = \frac{mn}{N} E[Y + 1] = \frac{mn}{N} [\frac{(n – 1)(m – 1)}{N – 1} + 1]
\end{equation}
\begin{equation}
Var(X) = \frac{mn}{N} E[Y + 1] = \frac{mn}{N} [\frac{(n – 1)(m – 1)}{N – 1} + 1 – \frac{mn}{N}]
\end{equation}
令 $p = \frac{m}{N}$，且由
\begin{equation}
\frac{m – 1}{N – 1} = \frac{Np – 1}{N – 1} = p – \frac{1 – p}{N – 1}
\end{equation}
得到
\begin{equation}
Var(X) = np[(n – 1)(p – \frac{1 – p}{N – 1}) + 1 – np] = np(1 – p)(1 – \frac{n – 1}{N – 1}) \tag{11}
\end{equation}
4. $\zeta$ 分布
如果一个随机变量由如下的分布列：
\begin{equation}
P\{X = k\} = \frac{C}{k^{\alpha + 1}} \qquad k = 1, 2, \cdots
\end{equation}
其中 $\alpha > 0$ 为参数，则称随机变量服从 $\zeta$ 分布（有时也称为 Zipf 分布）。因为概率之和必然等于 $1$，所以有
\begin{equation}
C = [\sum_{k = 1}^{\infty} (\frac{1}{k})^{\alpha + 1}]^{-1}
\end{equation}
$\zeta$ 分布的名称来源于以下函数
\begin{equation}
\zeta(s) = 1 + (\frac{1}{2})^s + (\frac{1}{3})^s + \cdots + (\frac{1}{k})^s + \cdots
\end{equation}
上式称为黎曼 $\zeta$ 函数。
$\zeta$ 分布曾用于描述某个国家的家庭收入的分布。它的一个应用见这里。