概率论 Cheat Sheet 5:随机变量、期望和方差

1. 随机变量

  在进行试验时,相比于直接的试验结果,我们有时更关心试验结果的某些函数。例如打麻将时掷两枚骰子,我们关心的是两枚骰子点数之和,而不关心每一枚骰子是什么点数。这些定义在样本空间上的实值函数,称为随机变量(Random Variable)。

  因为随机变量的取值由试验结果决定,因此我们也会对随机变量的可能取值指定概率。

  对于随机变量 $X$,定义其累计分布函数(Cumulative Distribution Function,CDF)$F(x)$ 为

\begin{equation}
F(x) = P(X \leq x) \qquad -\infty < x < \infty
\end{equation}

累计分布函数简称分布函数。对任一给定实数 $x$,$F(x)$ 为该随机变量小于等于 $x$ 的概率。

  对于 $a \leq b$,由于事件 $\{X \leq a\}$ 包含于事件 $\{X \leq b\}$,可知前者的概率 $F(a)$ 要小于等于后者的概率 $F(b)$。也就是说,$F(x)$ 是 $x$ 的单调非降函数。

2. 离散型随机变量

  若一个随机变量最多有可数个可能取值,则称这个随机变量为离散型的。对于一个离散型随机变量 $X$,定义 $X$ 的概率分布列(Probability Mass Function,PMF)$p(a)$ 为

\begin{equation}
p(a) = P\{X = a\}
\end{equation}

分布列 $p(a)$ 最多可在可数个 $a$ 上取正值。即如果 $X$ 的可能值为 $x_1, x_2, \cdots$,那么

\begin{align}
&p(x_i) \leq 0 \qquad i = 1, 2, \cdots \\
&p(x) = 0 \qquad 所有其他\;x
\end{align}

由于 $X$ 必定取值于 $\{x_1, x_2, \cdots\}$,所以有

\begin{equation}
\sum_{i=1}^{\infty} p(x_i) = 1
\end{equation}

  离散型随机变量的分布函数 $F$ 可通过分布列 $p(a)$ 进行计算:

\begin{equation}
F(a) = \sum_{x \leq a} p(x)
\end{equation}

  若 $x$ 是一个离散型随机变量,其可能取值为 $x_1, x_2, x_3, \cdots$,其中 $x_1 < x_2 < x_3 < \cdots$,则它的分布函数是一个阶梯函数,即在区间 $(x_{i-1}, x_i)$ 上取常数值,且在 $x_i$ 处有跳跃,跳跃值为 $p(x_i)$。

3. 期望

  如果 $X$ 是一个离散型随机变量,其分布列为 $p(x)$,那么 $X$ 的期望(Expectation)或期望值(Expected Value)$E[X]$ 定义为

\begin{equation}
E[X] = \sum_{x: p(x) > 0} xp(x)
\end{equation}

$X$ 的期望值是 $X$ 所有可能取值的一个加权平均,每个值的权重是 $X$ 取该值的概率。

  期望的定义也可以从频率的角度解释。将事件的概率看做事件发生频率的度量,如果进行无限多次独立重复试验,那么对于任一事件 $E$,$E$ 发生次数的比例将会是 $P(E)$。假设随机变量 $X$ 的可能取值为 $x_1, x_2, \cdots, x_n$,且相应的概率分别为 $p(x_1), p(x_2), \cdots, p(x_n)$,则期望 $E[X]$ 表示连续进行此试验所能得到的平均结果。

4. 随机变量的期望

  假设已知一个离散型随机变量 $X$ 的分布列,要计算 $X$ 的函数的期望,例如 $g(X)$。一种求解方式是,注意到 $g(X)$ 本身也是一个离散型随机变量,也有自己的分布列,这个分布列可以通过 $X$ 的分布列计算得到。一旦得到了 $g(X)$ 的分布列,就可以通过期望的定义计算 $g(X)$ 的期望 $E[g(X)]$。

  另一种求解方式是,注意到当 $X = x$ 时,$g(X) = g(x)$,可以认为 $E[g(X)]$ 是 $g(x)$ 的一个加权平均,其权重为 $X = x$ 的概率。

  命题 如果 $X$ 是一个离散型随机变量,其可能取值为 $x_i$($i \geq 1$),相应的取值概率为 $p(x_i)$,那么,对任一实值函数 $g$,都有

\begin{equation}
E[g(X)] = \sum_i g(x_i)p(x_i)
\end{equation}

  令 $g(X) = aX + b$,其中 $a$ 和 $b$ 是常数,则有

\begin{align}
E[aX + b] &= \sum_{x: p(x) > 0}(ax + b)p(x) \\
&= a \sum_{x: p(x) > 0}xp(x) + b\sum_{x: p(x) > 0}p(x)
\end{align}

于是有如下推论。

  推论 若 $a$ 和 $b$ 是常数,则

\begin{equation}
E[aX + b] = aE[X] + b
\end{equation}

5. 方差

  期望给出了随机变量取各个可能的值的加权平均,但并不能表明这些取值相对于均值的偏离程度。为了描述随机变量与均值间的偏离程度,一个直接的方法是计算 $X$ 与 $E[X]$ 的平均距离,如 $E[|X – \mu|]$,其中 $\mu = E[X]$。但在计算上处理绝对值并不方便,一个更容易处理的衡量偏差的方法是计算 $X$ 与其均值距离平方的期望。

  定义 如果随机变量 $X$ 的期望为 $\mu$,那么 $X$ 的方差记为 $Var(X)$,其定义为

\begin{equation}
Var(X) = E[(X – \mu)^2]
\end{equation}

  由方差的定义,有

\begin{align}
Var(X) &= E[(X – \mu)^2] = \sum_x (x – \mu)^2 p(x) \\
&= \sum_x x^2p(x) – 2\mu \sum_x xp(x) + \mu^2 \sum_x p(x) \\
&= \sum_x x^2p(x) – \mu^2
\end{align}

\begin{equation}
Var(X) = E[X^2] – (E[X])^2
\end{equation}

在实际应用中,上式是计算 $Var(X)$ 最简便的方法。

  对于任意常数 $a$ 和 $b$,有

\begin{align}
Var(aX + b) &= E[\big(aX + b – (a \mu + b)\big)^2] \\
&= E[a^2 (X – \mu)^2] \\
&= a^2 E[(x – \mu^2)]
\end{align}

\begin{equation}
Var(aX + b) = a^2 Var(X)
\end{equation}

  $Var(X)$ 的平方根称为 $X$ 的标准差(Standard Deviation),记为 $SD(X)$,即

\begin{equation}
SD(X) = \sqrt{Var(X)}
\end{equation}

Leave a Comment

电子邮件地址不会被公开。 必填项已用*标注