Processing math: 56%

概率论 Cheat Sheet 21:期望的性质

1. 期望的定义

  离散型随机变量 X 的期望定义为

E[X]=xxp(x)

其中 p(x) 是离散型随机变量 X 的分布列。

  连续型随机变量 X 的期望定义为

E[X]=xf(x)dx

其中 f(x)X 的密度函数。

  因为 E[X] 可看成是随机变量 X 的所有可能取值的加权平均,如果 X 位于 ab 之间,那么 E[X] 的取值也必定位于 X 的这两个极值 ab 之间,即如果

P{aXb}=1

那么

aE[X]b

2. 随机变量和的期望

  命题 对于随机变量 XY,以及二元函数 g,如果 X,Y 服从二元分布列 p(x,y),那么有

E[g(X,Y)]=xyg(x,y)p(x,y)

如果 X,Y 具有联合分布密度 f(x,y),那么

E[g(X,Y)]=g(x,y)f(x,y)dxdy

  如果 E[X]E[Y] 都是有限的,并令 g(x,y)=X+Y。在 (X,Y) 是连续的情况下,由上述命题,有

E[X+Y]=(x+y)f(x,y)dxdy=xf(x,y)dx+yf(x,y)dy=xfX(x)dx+yfY(y)dy=E[X]+E[Y]

一般情况下,上述结论仍成立,即当 E[X]E[Y] 均有限时,有

E[X+Y]=E[X]+E[Y]

  由式 (3),通过归纳法可以证明,对于任意一组随机变量 Xii=1,2,,n),只要它们的期望有限,则有

E[X1++Xn]=E[X1]++E[Xn]

  样本均值 设 X1,,Xn 为独立同分布的随机变量序列,其分布函数为 F,期望值为 μ,称这样的随机变量序列为来自分布 F 的一组样本,定义

¯X=ni=1Xin

¯X 称为样本均值,其期望为

E[¯X]=E[ni=1Xin]=1nE[ni=1Xi]=μ

  布尔不等式 设 A1,,Ann 个事件,记 Xii=1,,n)为这些事件的示性变量,即

Xi={1Ai0

X=ni=1Xi

XAi 这一系列事件在试验中发生的次数。令

Y={1X10

则当 Aii=1,,n)中至少有一个发生时 Y=1,否则 Y=0。由此有 XY,从而 E[X]E[Y]。又因为

E[X]=ni=1E[Xi]=ni=1P(Ai)

E[Y]=P{Ai}=P(ni=1Ai)

故有

P(ni=1Ai)ni=1P(Ai)

上式称为布尔(Boole)不等式

2.1. 二项随机变量的期望

  设 X 是参数为 (n,p) 的二项随机变量,记 Xi1in)为第 i 次试验成功的示性变量,即

Xi={1i0i

Xi 是一个伯努利随机变量,期望为 E[X_i] = 1 \times p + 0 \times (1 – p) = p。因为 X 表示 n 次独立重复试验中成功的次数,故有

\begin{equation} X = X_1 + \cdots + X_n \end{equation}

由式 (5),得

\begin{equation} E[X] = E[X_1 + \cdots + X_n] = E[X_1] + \cdots + E[X_n] = np \end{equation}

这与前文通过期望的定义计算得到的结果一致。

2.2. 负二项随机变量的期望

  设 X 是参数为 (r, p) 的负二项随机变量,则 X 可以表示进行一系列成功概率为 p 的独立重复试验,直到累计成功 r 次的试验次数。记 X_1 为第 1 次试验成功所需的试验次数,X_ii > 1)表示第 i – 1 次成功后、到第 i 次成功所需的试验次数,则 X_i 服从参数为 p 的几何分布,有 E[X_i] = \frac{1}{p}i = 1, \cdots, r)。又由 X = X_1 + \cdots + X_n,于是

\begin{equation} E[X] = E[X_1 + \cdots + X_n] = E[X_1] + \cdots + E[X_n] = \frac{r}{p} \end{equation}

这也与前文通过期望的定义计算得到的结果一致。

2.3. 超几何随机变量的期望

  设 X 是参数为 (n, N, m) 的负二项随机变量,则 X 可以表示坛子里有 N 个球,其中有 m 个白球,随机取出 n 个球中白球的个数。记 X_i1 \leq i \leq m)为第 i 个白球被取出的示性变量,即

\begin{equation} X_i = \begin{cases} 1 & 若第 \; i \; 个白球被取出 \\ 0 & 其他 \end{cases} \end{equation}

于是

\begin{equation} E[X_i] = P\{X_i = 1\} = P\{第 \; i \; 个白球被取出\} = \frac{\binom{1}{1} \binom{N – 1}{n – 1}}{\binom{N}{n}} = \frac{n}{N} \end{equation}

又由 X = X_1 + \cdots + X_m,于是

\begin{equation} E[X] = E[X_1] + \cdots + E[X_m] = \frac{mn}{N} \end{equation}

  另一方面,如果记 Y_i 为第 i1 \leq i \leq n)次取出的球是白球的示性变量,即

\begin{equation} Y_i = \begin{cases} 1 & 若第 \; i \; 取出的球是白球 \\ 0 & 其他 \end{cases} \end{equation}

于是

\begin{equation} E[Y_i] = \frac{m}{N} \end{equation}

又由 X = X_1 + \cdots + X_n,于是

\begin{equation} E[X] = E[X_1] + \cdots + E[X_n] = \frac{mn}{N} \end{equation}

以上结果也都与前文通过期望的定义计算得到的结果一致。

2.4. 通过概率方法将期望值作为界

  设 f 为定义在有限集 A 上的函数,假定我们对该函数的最大值感兴趣

\begin{equation} m = \max_{s \in A} f(s) \end{equation}

为得到 m 的下界,令 S 为取值于 A 的随机元,由 m \geq f(S) 可知

\begin{equation} m \geq E[f(S)] \end{equation}

f(S) 不是常数值随机变量时,上述不等式时严格不等的,不会出现 m = E[f(S)] 的情况,即 E[f(S)] 是最大值 m 的下界。