概率论 Cheat Sheet 21:期望的性质
Contents [show]
1. 期望的定义
离散型随机变量 X 的期望定义为
E[X]=∑xxp(x)
其中 p(x) 是离散型随机变量 X 的分布列。
连续型随机变量 X 的期望定义为
E[X]=∫∞−∞xf(x)dx
其中 f(x) 是 X 的密度函数。
因为 E[X] 可看成是随机变量 X 的所有可能取值的加权平均,如果 X 位于 a 和 b 之间,那么 E[X] 的取值也必定位于 X 的这两个极值 a 和 b 之间,即如果
P{a≤X≤b}=1
那么
a≤E[X]≤b
2. 随机变量和的期望
命题 对于随机变量 X 和 Y,以及二元函数 g,如果 X,Y 服从二元分布列 p(x,y),那么有
E[g(X,Y)]=∑x∑yg(x,y)p(x,y)
如果 X,Y 具有联合分布密度 f(x,y),那么
E[g(X,Y)]=∫∞−∞∫∞−∞g(x,y)f(x,y)dxdy
如果 E[X] 和 E[Y] 都是有限的,并令 g(x,y)=X+Y。在 (X,Y) 是连续的情况下,由上述命题,有
E[X+Y]=∫∞−∞∫∞−∞(x+y)f(x,y)dxdy=∫∞−∞∫∞−∞xf(x,y)dx+∫∞−∞∫∞−∞yf(x,y)dy=∫∞−∞xfX(x)dx+∫∞−∞yfY(y)dy=E[X]+E[Y]
一般情况下,上述结论仍成立,即当 E[X] 和 E[Y] 均有限时,有
E[X+Y]=E[X]+E[Y]
由式 (3),通过归纳法可以证明,对于任意一组随机变量 Xi(i=1,2,⋯,n),只要它们的期望有限,则有
E[X1+⋯+Xn]=E[X1]+⋯+E[Xn]
样本均值 设 X1,⋯,Xn 为独立同分布的随机变量序列,其分布函数为 F,期望值为 μ,称这样的随机变量序列为来自分布 F 的一组样本,定义
¯X=n∑i=1Xin
¯X 称为样本均值,其期望为
E[¯X]=E[n∑i=1Xin]=1nE[n∑i=1Xi]=μ
布尔不等式 设 A1,⋯,An 为 n 个事件,记 Xi(i=1,⋯,n)为这些事件的示性变量,即
Xi={1若Ai发生0其他
记
X=n∑i=1Xi
则 X 是 Ai 这一系列事件在试验中发生的次数。令
Y={1若X≤10其他
则当 Ai(i=1,⋯,n)中至少有一个发生时 Y=1,否则 Y=0。由此有 X≥Y,从而 E[X]≥E[Y]。又因为
E[X]=n∑i=1E[Xi]=n∑i=1P(Ai)
及
E[Y]=P{Ai中至少有一个发生}=P(n⋃i=1Ai)
故有
P(n⋃i=1Ai)≤n∑i=1P(Ai)
上式称为布尔(Boole)不等式。
2.1. 二项随机变量的期望
设 X 是参数为 (n,p) 的二项随机变量,记 Xi(1≤i≤n)为第 i 次试验成功的示性变量,即
Xi={1若第i次试验成功0若第i次试验失败
Xi 是一个伯努利随机变量,期望为 E[X_i] = 1 \times p + 0 \times (1 – p) = p。因为 X 表示 n 次独立重复试验中成功的次数,故有
\begin{equation} X = X_1 + \cdots + X_n \end{equation}
由式 (5),得
\begin{equation} E[X] = E[X_1 + \cdots + X_n] = E[X_1] + \cdots + E[X_n] = np \end{equation}
这与前文通过期望的定义计算得到的结果一致。
2.2. 负二项随机变量的期望
设 X 是参数为 (r, p) 的负二项随机变量,则 X 可以表示进行一系列成功概率为 p 的独立重复试验,直到累计成功 r 次的试验次数。记 X_1 为第 1 次试验成功所需的试验次数,X_i(i > 1)表示第 i – 1 次成功后、到第 i 次成功所需的试验次数,则 X_i 服从参数为 p 的几何分布,有 E[X_i] = \frac{1}{p}(i = 1, \cdots, r)。又由 X = X_1 + \cdots + X_n,于是
\begin{equation} E[X] = E[X_1 + \cdots + X_n] = E[X_1] + \cdots + E[X_n] = \frac{r}{p} \end{equation}
这也与前文通过期望的定义计算得到的结果一致。
2.3. 超几何随机变量的期望
设 X 是参数为 (n, N, m) 的负二项随机变量,则 X 可以表示坛子里有 N 个球,其中有 m 个白球,随机取出 n 个球中白球的个数。记 X_i(1 \leq i \leq m)为第 i 个白球被取出的示性变量,即
\begin{equation} X_i = \begin{cases} 1 & 若第 \; i \; 个白球被取出 \\ 0 & 其他 \end{cases} \end{equation}
于是
\begin{equation} E[X_i] = P\{X_i = 1\} = P\{第 \; i \; 个白球被取出\} = \frac{\binom{1}{1} \binom{N – 1}{n – 1}}{\binom{N}{n}} = \frac{n}{N} \end{equation}
又由 X = X_1 + \cdots + X_m,于是
\begin{equation} E[X] = E[X_1] + \cdots + E[X_m] = \frac{mn}{N} \end{equation}
另一方面,如果记 Y_i 为第 i(1 \leq i \leq n)次取出的球是白球的示性变量,即
\begin{equation} Y_i = \begin{cases} 1 & 若第 \; i \; 取出的球是白球 \\ 0 & 其他 \end{cases} \end{equation}
于是
\begin{equation} E[Y_i] = \frac{m}{N} \end{equation}
又由 X = X_1 + \cdots + X_n,于是
\begin{equation} E[X] = E[X_1] + \cdots + E[X_n] = \frac{mn}{N} \end{equation}
以上结果也都与前文通过期望的定义计算得到的结果一致。
2.4. 通过概率方法将期望值作为界
设 f 为定义在有限集 A 上的函数,假定我们对该函数的最大值感兴趣
\begin{equation} m = \max_{s \in A} f(s) \end{equation}
为得到 m 的下界,令 S 为取值于 A 的随机元,由 m \geq f(S) 可知
\begin{equation} m \geq E[f(S)] \end{equation}
当 f(S) 不是常数值随机变量时,上述不等式时严格不等的,不会出现 m = E[f(S)] 的情况,即 E[f(S)] 是最大值 m 的下界。