概率论 Cheat Sheet 22：试验序列中事件发生次数的矩
对于给定的事件序列 $A_1, \cdots, A_n$，令 $X$ 表示这些事件在试验中发生的次数，计算 $E[X]$ 的一个方法是考虑每个事件 $A_i$ 的示性变量
\begin{equation}
I_i =\begin{cases}1 & 若 \; A_i \; 发生 \\
0 & 其他\end{cases}
\end{equation}
由
\begin{equation}
X = \sum_{i=1}^n I_i
\end{equation}
得
\begin{equation}
E[X] = E\Big[\sum_{i=1}^n I_i\Big] = \sum_{i=1}^n E[I_i] = \sum_{i=1}^n P(A_i) \tag{1}
\end{equation}
现在考虑成对事件出现的次数，如果事件 $A_i$ 和 $A_j$ 在试验中发生，则 $I_i I_j = 1$，反之则 $I_i I_j = 0$。因此在试验序列中，$\sum\limits_{i <j}I_i I_j$ 表示事件成对发生的次数。又因为 $X$ 表示试验序列中单个事件发生的次数，故事件成对发生的次数为 $\binom{X}{2}$，由此有
\begin{equation}
\binom{X}{2} = \sum\limits_{i < j}I_i I_j
\end{equation}
上式两边求期望，得
\begin{equation}
E\Big[\binom{X}{2}\Big] = \sum_{i < j} E[I_i I_j] = \sum_{i < j} P(A_i A_j) \tag{2}
\end{equation}
即
\begin{equation}
E\Big[\frac{X (X – 1)}{2}\Big] = \sum_{i < j} P(A_i A_j)
\end{equation}
\begin{equation}
E[X^2] – E[X] = 2 \sum_{i < j} P(A_i A_j) \tag{3}
\end{equation}
由上式可以解得 $E[X^2]$，进而可由 $\mathrm{Var}(X) = E[X^2] – (E[X])^2$ 得到 $\mathrm{Var}(X)$。
此外，考虑在一个试验序列中，$k$ 个不同事件构成的组出现的次数，可得
\begin{equation}
\binom{X}{k} = \sum_{i_1 < i_2 < \cdots < i_k} I_{i_1} I_{i_2} \cdots I_{i_k}
\end{equation}
上式两边求期望，得
\begin{equation}
E\Big[\binom{X}{k}\Big] = \sum_{i_1 < i_2 < \cdots < i_k} E[I_{i_1} I_{i_2} \cdots I_{i_k}] = \sum_{i_1 < i_2 < \cdots < i_k} P\{A_{i_1} A_{i_2} \cdots A_{i_k}\} \tag{4}
\end{equation}
一般情况下，利用 $P\{A_{i_1} A_{i_2} \cdots A_{i_k}\} = p^k$，式 $(4)$ 变为
\begin{equation}
E\Big[\binom{X}{k}\Big] = \sum_{i_1 < i_2 < \cdots < i_k} p^k = \binom{n}{k} p^k
\end{equation}
上式最后一个等式成立是因为求和项中共有 $\binom{n}{k}$ 项，该求和项中各项相当于从 $1$ 到 $n$ 这 $n$ 个数中任取 $k$ 个（一共有 $\binom{n}{k}$ 种取法），再按升序排列得到 $i_1 < i_2 < \cdots < i_k$。由上式可得
\begin{equation}
E[X(X – 1)\cdots(X – k + 1)] = n(n – 1)\cdots(n – k + 1)p^k \tag{5}
\end{equation}
由式 $(5)$ 可以得到各阶矩 $E[X^k]$（$k \geq 3$）。例如当 $k = 3$ 时，有
\begin{equation}
E[X(X – 1)(X – 2)] = n(n – 1)(n – 2) p^3
\end{equation}
\begin{equation}
E[X^3 = 3X^2 + 2X] = n(n – 1)(n – 2) p^3
\end{equation}
\begin{equation}
E[X^3] = 3E[X^2] – 2E[X] + n(n – 1)(n – 2) p^3 = 3n(n – 1)p^2 + np + n(n – 1)(n – 2)p^2
\end{equation}
Contents
1. 二项随机变量的矩
考虑 $n$ 次独立重复试验，每次成功的概率为 $p$，记 $A_i$ 为第 $i$ 次试验成功这一事件，当 $i \neq j$ 时，$P(A_i A_j) = p^2$，由式 $(2)$、$(3)$，可得
\begin{equation}
E\Big[\binom{X}{2}\Big] = \sum_{i < j} p^2 = \binom{n}{2} p^2
\end{equation}
即
\begin{equation}
E[X(X – 1)] = n(n – 1) p^2
\end{equation}
\begin{equation}
E[X^2] – E[X] = n(n – 1) p^2
\end{equation}
由式 $(1)$ 得到 $E[X] = \sum\limits_{i=1}^n P(A_i) = np$，可得
\begin{equation}
\mathrm{Var}(X) = E[X^2] – (E[X])^2 = n(n – 1)p^2 + np – (np)^2 = np(1 – p)
\end{equation}
这与前文得到的结论相同。
2. 超几何随机变量的矩
设一个坛子里有 $N$ 个球，其中有 $m$ 个白球。现从坛子中随机取出 $n$ 个球，用 $A_i$ 表示取出的第 $i$ 个球为白球，则此时 $n$ 个球中白球的个数 $X$ 就是事件 $A_1, \cdots, A_n$ 的发生次数。由于第 $i$ 个球可以是 $N$ 个球中的任意一个，且 $N$ 个球中有 $m$ 个白球，故 $P(A_i) = \frac{m}{N}$，由式 $(1)$ 得到
\begin{equation}
E[X] = \sum_{i=1}^n P(A_i) = \frac{mn}{}
\end{equation}
又因
\begin{equation}
P(A_i A_j) = P(A_i)P(A_j | A_i) = \frac{m}{N} \frac{m – 1}{N – 1}
\end{equation}
由式 $(2)$、$(3)$ 得
\begin{equation}
E\Big[\binom{X}{2}\Big] = \sum_{i < j} \frac{m(m – 1)}{N(N – 1)} = \binom{n}{2} \frac{m(m – 1)}{N(N – 1)}
\end{equation}
\begin{equation}
E[X(X – 1)] = n(n – 1) \frac{m(m – 1)}{N(N – 1)}
\end{equation}
\begin{equation}
E[X^2] = n(n – 1) \frac{m(m – 1)}{N(N – 1)} + E[X] = n(n – 1) \frac{m(m – 1)}{N(N – 1)} + \frac{mn}{N}
\end{equation}
于是得
\begin{align}
\mathrm{Var}(X) &= E[X^2] – (E[X])^2 = (n – 1) \frac{m(m – 1)}{N(N – 1)} + \frac{mn}{N} – \Big(\frac{mn}{N}\Big)^2 \\
&= \frac{mn}{N} \Big[\frac{(n – 1)(m – 1)}{N – 1} + 1 – \frac{mn}{N}\Big]
\end{align}
这与前文得到的结论相同。