概率论 Cheat Sheet 6：伯努利随机变量和二项随机变量

Author: nex3z 2019-01-13

　　对于结果只有成功或失败的试验，令

$$\begin{equation} X= \begin{cases} 1 & 当试验结果为成功时 \\ 0 & 当试验结果为失败时 \end{cases} \end{equation}$$

则 $X$ 的分布列为

$$\begin{align} &p(0) = P\{X = 0\} = 1 – p \\ &p(1) = P\{X = 1\} = p \tag{1} \end{align}$$

其中 $p$（$0 \leq p \leq 1$）是每次试验成功的概率。

　　如果随机变量 $X$ 的分布列由式 $(1)$ 给出，其中 $p \in (0, 1)$，则称 $X$ 为伯努利随机变量。

　　现在假设进行 $n$ 次独立重复试验，每次试验成功的概率为 $p$，失败的概率为 $1 – p$，如果 $X$ 表示 $n$ 次试验中成功的次数，则 $X$ 称为参数是 $(n, p)$ 的二项（Binomial）随机变量。伯努利随机变量可以看成是参数为 $(1, p)$ 的二项随机变量。

　　参数为 $(n, p)$ 的二项随机变量的分布列为

$$\begin{equation} p(i) = \binom{n}{i} p^i (1 – p)^{n – i} \qquad i = 0, 1, \cdots, n \tag{2} \end{equation}$$

1. 二项随机变量的性质

　　对于参数为 $(n, p)$ 的二项随机变量 $X$，计算 $X^k$ 的期望为

$$\begin{equation} E[X^k] = \sum_{i=0}^n i^k \binom{n}{i} p^i (1 – p)^{n – i} = \sum_{i=1}^n i^k \binom{n}{i} p^i (1-p)^{n-i} \end{equation}$$

由恒等式

$$\begin{equation} i \binom{n}{i} = n \binom{n – 1}{i – 1} \end{equation}$$

得

$$\begin{align} E[X^k] &= np \sum_{i=1}^n i^{k-1} \binom{n-1}{i-1} p^{i-1} (1-p)^{n-i} \\ &= np \sum_{j=0}^{n-1} (j+1)^{k-1} \binom{n-1}{j} p^j (1-p)^{n-1-j} \qquad 令 \; j = i – 1 \\ &= np E[(Y+1)^{k-1}] \tag{3} \end{align}$$

其中 $Y$ 是一个参数为 $(n-1, p)$ 的二项随机变量。

　　在 $(3)$ 式中，令 $k = 1$，可得 $X$ 的期望为

$$\begin{equation} E[X] = np \tag{4} \end{equation}$$

　　在 $(3)$ 式中，令 $k = 2$，可得 $X^2$ 的期望为

$$\begin{equation} E[X^2] = np E[Y +1] = np[(n-1)p + 1] \end{equation}$$

由 $Var(X) = E[X^2] – (E[X])^2$，得到 $X$ 的方差为

$$\begin{equation} Var(X) = np(1-p) \tag{5} \end{equation}$$

　　考虑 $P\{X = k\}$ 与 $P\{X = k – 1\}$ 的大小关系，计算

$$\begin{equation} \frac{P\{X = k\}}{P\{X = k – 1\}} = \frac{\frac{n!}{(n-k)!k!}p^k(1-p)^{n-k}}{\frac{n!}{(n-k +1)!(k-1)!}p^{k-1}(1-p)^{n-k+1}} = \frac{(n-k+1)p}{k(1 – p)} \tag{6} \end{equation}$$

因此 $P\{X = k\} \geq P\{X = k – 1\}$ 当且仅当

$$\begin{equation} (n – k + 1)p \geq k(1 – p) \end{equation}$$

即

$$\begin{equation} k \leq (n + 1)p \end{equation}$$

　　命题　如果 $X$ 是一个参数为 $(n, p)$ 的二项随机变量，其中 $0 < p < 1$。那么当 $k$ 从 $0$ 到 $n$ 时，$P\{X = k\}$ 一开始单调递增，然后一直单调递减，当 $k = \lfloor(n + 1)p\rfloor$ 时取得最大值。

2. 计算二项分布函数

　　设 $X$ 是一个参数为 $(n, p)$ 的二项随机变量，分布函数

$$\begin{equation} P\{X \leq i\} = \sum_{k=0}^i \binom{n}{k} p^k (1 – p)^{n – k} \qquad i = 0, 1, \cdots, n \tag{7} \end{equation}$$

通过式 $(6)$，可以得到 $P\{X = k +1\}$ 和 $P\{X = k\}$ 之间的递推关系

$$\begin{equation} P\{X = k +1\} = \frac{p}{1 – p} \frac{n – k}{k + 1} P\{X = k\} \tag{8} \end{equation}$$