概率论 Cheat Sheet 6：伯努利随机变量和二项随机变量
对于结果只有成功或失败的试验，令
\begin{equation}
X= \begin{cases}
1 & 当试验结果为成功时 \\
0 & 当试验结果为失败时
\end{cases}
\end{equation}
则 $X$ 的分布列为
\begin{align}
&p(0) = P\{X = 0\} = 1 – p \\
&p(1) = P\{X = 1\} = p \tag{1}
\end{align}
其中 $p$（$0 \leq p \leq 1$）是每次试验成功的概率。
如果随机变量 $X$ 的分布列由式 $(1)$ 给出，其中 $p \in (0, 1)$，则称 $X$ 为伯努利随机变量。
现在假设进行 $n$ 次独立重复试验，每次试验成功的概率为 $p$，失败的概率为 $1 – p$，如果 $X$ 表示 $n$ 次试验中成功的次数，则 $X$ 称为参数是 $(n, p)$ 的二项（Binomial）随机变量。伯努利随机变量可以看成是参数为 $(1, p)$ 的二项随机变量。
参数为 $(n, p)$ 的二项随机变量的分布列为
\begin{equation}
p(i) = \binom{n}{i} p^i (1 – p)^{n – i} \qquad i = 0, 1, \cdots, n \tag{2}
\end{equation}
Contents
1. 二项随机变量的性质
对于参数为 $(n, p)$ 的二项随机变量 $X$，计算 $X^k$ 的期望为
\begin{equation}
E[X^k] = \sum_{i=0}^n i^k \binom{n}{i} p^i (1 – p)^{n – i} = \sum_{i=1}^n i^k \binom{n}{i} p^i (1-p)^{n-i}
\end{equation}
由恒等式
\begin{equation}
i \binom{n}{i} = n \binom{n – 1}{i – 1}
\end{equation}
得
\begin{align}
E[X^k] &= np \sum_{i=1}^n i^{k-1} \binom{n-1}{i-1} p^{i-1} (1-p)^{n-i} \\
&= np \sum_{j=0}^{n-1} (j+1)^{k-1} \binom{n-1}{j} p^j (1-p)^{n-1-j} \qquad 令 \; j = i – 1 \\
&= np E[(Y+1)^{k-1}] \tag{3}
\end{align}
其中 $Y$ 是一个参数为 $(n-1, p)$ 的二项随机变量。
在 $(3)$ 式中，令 $k = 1$，可得 $X$ 的期望为
\begin{equation}
E[X] = np \tag{4}
\end{equation}
在 $(3)$ 式中，令 $k = 2$，可得 $X^2$ 的期望为
\begin{equation}
E[X^2] = np E[Y +1] = np[(n-1)p + 1]
\end{equation}
由 $Var(X) = E[X^2] – (E[X])^2$，得到 $X$ 的方差为
\begin{equation}
Var(X) = np(1-p) \tag{5}
\end{equation}
考虑 $P\{X = k\}$ 与 $P\{X = k – 1\}$ 的大小关系，计算
\begin{equation}
\frac{P\{X = k\}}{P\{X = k – 1\}} = \frac{\frac{n!}{(n-k)!k!}p^k(1-p)^{n-k}}{\frac{n!}{(n-k +1)!(k-1)!}p^{k-1}(1-p)^{n-k+1}} = \frac{(n-k+1)p}{k(1 – p)} \tag{6}
\end{equation}
因此 $P\{X = k\} \geq P\{X = k – 1\}$ 当且仅当
\begin{equation}
(n – k + 1)p \geq k(1 – p)
\end{equation}
即
\begin{equation}
k \leq (n + 1)p
\end{equation}
命题 如果 $X$ 是一个参数为 $(n, p)$ 的二项随机变量，其中 $0 < p < 1$。那么当 $k$ 从 $0$ 到 $n$ 时，$P\{X = k\}$ 一开始单调递增，然后一直单调递减，当 $k = \lfloor(n + 1)p\rfloor$ 时取得最大值。
2. 计算二项分布函数
设 $X$ 是一个参数为 $(n, p)$ 的二项随机变量，分布函数
\begin{equation}
P\{X \leq i\} = \sum_{k=0}^i \binom{n}{k} p^k (1 – p)^{n – k} \qquad i = 0, 1, \cdots, n \tag{7}
\end{equation}
通过式 $(6)$，可以得到 $P\{X = k +1\}$ 和 $P\{X = k\}$ 之间的递推关系
\begin{equation}
P\{X = k +1\} = \frac{p}{1 – p} \frac{n – k}{k + 1} P\{X = k\} \tag{8}
\end{equation}