概率论 Cheat Sheet 21：期望的性质
1. 期望的定义
离散型随机变量 $X$ 的期望定义为
\begin{equation}
E[X] = \sum_x x p(x)
\end{equation}
其中 $p(x)$ 是离散型随机变量 $X$ 的分布列。
连续型随机变量 $X$ 的期望定义为
\begin{equation}
E[X] = \int_{-\infty}^{\infty} x f(x) \mathrm{d}x
\end{equation}
其中 $f(x)$ 是 $X$ 的密度函数。
因为 $E[X]$ 可看成是随机变量 $X$ 的所有可能取值的加权平均，如果 $X$ 位于 $a$ 和 $b$ 之间，那么 $E[X]$ 的取值也必定位于 $X$ 的这两个极值 $a$ 和 $b$ 之间，即如果
\begin{equation}
P\{a \leq X \leq b\} = 1
\end{equation}
那么
\begin{equation}
a \leq E[X] \leq b
\end{equation}
2. 随机变量和的期望
命题 对于随机变量 $X$ 和 $Y$，以及二元函数 $g$，如果 $X, Y$ 服从二元分布列 $p(x, y)$，那么有
\begin{equation}
E[g(X, Y)] = \sum_x \sum_y g(x, y) p(x, y) \tag{1}
\end{equation}
如果 $X, Y$ 具有联合分布密度 $f(x, y)$，那么
\begin{equation}
E[g(X, Y)] = \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} g(x, y) f(x, y) \mathrm{d}x \mathrm{d}y \tag{2}
\end{equation}
如果 $E[X]$ 和 $E[Y]$ 都是有限的，并令 $g(x, y) = X + Y$。在 $(X, Y)$ 是连续的情况下，由上述命题，有
\begin{align}
E[X + Y] &= \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} (x + y) f(x, y) \mathrm{d}x \mathrm{d}y \\
&= \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} x f(x, y) \mathrm{d}x + \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} y f(x, y) \mathrm{d}y \\
&= \int_{-\infty}^{\infty} x f_X(x) \mathrm{d}x + \int_{-\infty}^{\infty} y f_Y(y) \mathrm{d}y \\
&= E[X] + E[Y]
\end{align}
一般情况下，上述结论仍成立，即当 $E[X]$ 和 $E[Y]$ 均有限时，有
\begin{equation}
E[X + Y] = E[X] + E[Y] \tag{3}
\end{equation}
由式 $(3)$，通过归纳法可以证明，对于任意一组随机变量 $X_i$（$i = 1, 2, \cdots, n$），只要它们的期望有限，则有
\begin{equation}
E[X_1 + \cdots + X_n] = E[X_1] + \cdots + E[X_n] \tag{4}
\end{equation}
样本均值 设 $X_1, \cdots, X_n$ 为独立同分布的随机变量序列，其分布函数为 $F$，期望值为 $\mu$，称这样的随机变量序列为来自分布 $F$ 的一组样本，定义
\begin{equation}
\overline{X} = \sum_{i=1}^n \frac{X_i}{n} \tag{5}
\end{equation}
$\overline{X}$ 称为样本均值，其期望为
\begin{equation}
E[\overline{X}] = E\Big[\sum_{i=1}^n \frac{X_i}{n}\Big] = \frac{1}{n} E\Big[\sum_{i=1}^n X_i\Big] = \mu
\end{equation}
布尔不等式 设 $A_1, \cdots, A_n$ 为 $n$ 个事件，记 $X_i$（$i = 1, \cdots, n$）为这些事件的示性变量，即
\begin{equation}
X_i = \begin{cases} 1 & 若 \; A_i\; 发生 \\ 0 & 其他 \end{cases}
\end{equation}
记
\begin{equation}
X = \sum_{i=1}^n X_i
\end{equation}
则 $X$ 是 $A_i$ 这一系列事件在试验中发生的次数。令
\begin{equation}
Y = \begin{cases} 1 & 若 \; X \leq 1 \\ 0 & 其他 \end{cases}
\end{equation}
则当 $A_i$（$i = 1, \cdots, n$）中至少有一个发生时 $Y = 1$，否则 $Y = 0$。由此有 $X \geq Y$，从而 $E[X] \geq E[Y]$。又因为
\begin{equation}
E[X] = \sum_{i=1}^n E[X_i] = \sum_{i=1}^n P(A_i)
\end{equation}
及
\begin{equation}
E[Y] = P\{A_i \; 中至少有一个发生\} = P\Big(\textstyle\bigcup\limits_{i=1}^n A_i\Big)
\end{equation}
故有
\begin{equation}
P\Big(\textstyle\bigcup\limits_{i=1}^n A_i\Big) \leq \sum\limits_{i=1}^n P(A_i) \tag{6}
\end{equation}
上式称为布尔（Boole）不等式。
2.1. 二项随机变量的期望
设 $X$ 是参数为 $(n, p)$ 的二项随机变量，记 $X_i$（$1 \leq i \leq n$）为第 $i$ 次试验成功的示性变量，即
\begin{equation}
X_i = \begin{cases} 1 & 若第 \; i \; 次试验成功 \\ 0 & 若第 \; i \; 次试验失败 \end{cases}
\end{equation}
$X_i$ 是一个伯努利随机变量，期望为 $E[X_i] = 1 \times p + 0 \times (1 – p) = p$。因为 $X$ 表示 $n$ 次独立重复试验中成功的次数，故有
\begin{equation}
X = X_1 + \cdots + X_n
\end{equation}
由式 $(5)$，得
\begin{equation}
E[X] = E[X_1 + \cdots + X_n] = E[X_1] + \cdots + E[X_n] = np
\end{equation}
这与前文通过期望的定义计算得到的结果一致。
2.2. 负二项随机变量的期望
设 $X$ 是参数为 $(r, p)$ 的负二项随机变量，则 $X$ 可以表示进行一系列成功概率为 $p$ 的独立重复试验，直到累计成功 $r$ 次的试验次数。记 $X_1$ 为第 $1$ 次试验成功所需的试验次数，$X_i$（$i > 1$）表示第 $i – 1$ 次成功后、到第 $i$ 次成功所需的试验次数，则 $X_i$ 服从参数为 $p$ 的几何分布，有 $E[X_i] = \frac{1}{p}$（$i = 1, \cdots, r$）。又由 $X = X_1 + \cdots + X_n$，于是
\begin{equation}
E[X] = E[X_1 + \cdots + X_n] = E[X_1] + \cdots + E[X_n] = \frac{r}{p}
\end{equation}
这也与前文通过期望的定义计算得到的结果一致。
2.3. 超几何随机变量的期望
设 $X$ 是参数为 $(n, N, m)$ 的负二项随机变量，则 $X$ 可以表示坛子里有 $N$ 个球，其中有 $m$ 个白球，随机取出 $n$ 个球中白球的个数。记 $X_i$（$1 \leq i \leq m$）为第 $i$ 个白球被取出的示性变量，即
\begin{equation}
X_i = \begin{cases} 1 & 若第 \; i \; 个白球被取出 \\ 0 & 其他 \end{cases}
\end{equation}
于是
\begin{equation}
E[X_i] = P\{X_i = 1\} = P\{第 \; i \; 个白球被取出\} = \frac{\binom{1}{1} \binom{N – 1}{n – 1}}{\binom{N}{n}} = \frac{n}{N}
\end{equation}
又由 $X = X_1 + \cdots + X_m$，于是
\begin{equation}
E[X] = E[X_1] + \cdots + E[X_m] = \frac{mn}{N}
\end{equation}
另一方面，如果记 $Y_i$ 为第 $i$（$1 \leq i \leq n$）次取出的球是白球的示性变量，即
\begin{equation}
Y_i = \begin{cases} 1 & 若第 \; i \; 取出的球是白球 \\ 0 & 其他 \end{cases}
\end{equation}
于是
\begin{equation}
E[Y_i] = \frac{m}{N}
\end{equation}
又由 $X = X_1 + \cdots + X_n$，于是
\begin{equation}
E[X] = E[X_1] + \cdots + E[X_n] = \frac{mn}{N}
\end{equation}
以上结果也都与前文通过期望的定义计算得到的结果一致。
2.4. 通过概率方法将期望值作为界
设 $f$ 为定义在有限集 $A$ 上的函数，假定我们对该函数的最大值感兴趣
\begin{equation}
m = \max_{s \in A} f(s)
\end{equation}
为得到 $m$ 的下界，令 $S$ 为取值于 $A$ 的随机元，由 $m \geq f(S)$ 可知
\begin{equation}
m \geq E[f(S)]
\end{equation}
当 $f(S)$ 不是常数值随机变量时，上述不等式时严格不等的，不会出现 $m = E[f(S)]$ 的情况，即 $E[f(S)]$ 是最大值 $m$ 的下界。