概率论 Cheat Sheet 4：随机变量的数学特征（1）

Author: nex3z 2018-06-02

1. 数学期望

　　定义　设离散型随机变量 $X$ 的分布律为

$$\begin{equation} P\{X=x_k\} = p_k, \; k=1,2,\cdots \end{equation}$$

若级数

$$\begin{equation} \sum_{k=1}^{\infty}x_k p_k \end{equation}$$

绝对收敛，则称级数 $\sum\limits_{k=1}^{\infty}x_k p_k$ 的和为随机变量 $X$ 的数学期望，记为 $E(X)$。即

$$\begin{equation} E(X) = \sum_{k=1}^{\infty}x_k p_k \tag{1.1} \end{equation}$$

　　设连续型随机变量 $X$ 的概率密度为 $f(x)$，若积分

$$\begin{equation} \int_{-\infty}^{\infty}xf(x)dx \end{equation}$$

绝对收敛，则称积分 $\int_{-\infty}^{\infty}xf(x)dx$ 的值为随机变量 $X$ 的数学期望，记为 $E(X)$。即

$$\begin{equation} E(X) = \int_{-\infty}^{\infty}xf(x)dx \tag{1.2} \end{equation}$$

　　数学期望简称期望，又称均值。

　　数学期望 $E(X)$ 完全由随机变量 $X$ 的概率分布所确定。若 $X$ 服从某一分布，也称 $E(X)$ 是这一分布的数学期望。

　　定理　设 $Y$ 是随机变量 $X$ 的函数：$Y = g(X)$（$g$ 是连续函数）。

　　（i）如果 $X$ 是离散型随机变量，它的分布律为 $P\{X=x_k\} = p_k, \; k=1,2,\cdots$，若 $\sum\limits_{k=1}^{\infty}g(x_k)p_k$ 绝对收敛，则有

$$\begin{equation} E(Y) = E[g(X)] = \sum_{k=1}^{\infty}g(x_k)p_k \tag{1.3} \end{equation}$$

　　（ii）如果 $X$ 是连续型随机变量，它的概率密度为 $f(x)$，若 $\int_{-\infty}^{\infty}g(x)f(x)dx$ 绝对收敛，则有

$$\begin{equation} E(Y) = E[g(x)] = \int_{-\infty}^{\infty}g(x)f(x)dx \tag{1.4} \end{equation}$$

　　定理的重要意义在于当我们求 $E(Y)$ 时，不必算出 $Y$ 的分布律或概率密度，而只需利用 $X$ 的分布律或概率密度就可以了。

　　数学期望的几个重要性质：

1. 设 $C$ 是常数，则有 $E(C) = C$。

2. 设 $X$ 是一个随机变量，$C$ 是常数，则有
   

   $$\begin{equation} E(CX) = CE(X) \end{equation}$$

3. 设 $X, Y$ 是两个随机变量，则有
   

   $$\begin{equation} E(X + Y) = E(X) + E(Y) \end{equation}$$
   这一性质可以推广到任意有限个随机变量之和的情况。

4. 设 $X, Y$ 是相互独立的随机变量，则有
   

   $$\begin{equation} E(XY) = E(X)E(Y) \end{equation}$$
   这一性质可以推广到任意有限个相互独立的随机变量之积的情况。

2. 方差

　　定义　设 $X$ 是一个随机变量，若 $E\{[X – E(X)]^2\}$ 存在，则称 $E\{[X – E(X)]^2\}$ 为 $X$ 的方差，记为 $D(X)$ 或 $Var(X)$，即

$$\begin{equation} D(X) = Var(X) = E\{[X – E(X)]^2\} \tag{2.1} \end{equation}$$

　　从应用上还引入量 $\sqrt{D(X)}$，记为 $\sigma(X)$，称为标准差或均方差。

　　由定义知，方差实际上就是随机变量 $X$ 的函数 $g(X) = [X – E(X)]^2$ 的数学期望。于是对于离散型随机变量，按 $(1.3)$ 式有

$$\begin{equation} D(X) = \sum_{k=1}^{\infty}[x_k – E(X)]^2p_k \tag{2.2} \end{equation}$$

其中 $P\{X=x_k\} = p_k, \; k=1,2,\cdots$ 是 $X$ 的分布律。

　　对于连续型随机变量，按 $(1.4)$ 式有

$$\begin{equation} D(X) = \int_{-\infty}^{\infty}[x – E(X)]^2 f(x)dx \tag{2.3} \end{equation}$$

其中 $f(x)$ 是 $X$ 的概率密度。

　　随机变量 $X$ 的方差可按下列公式计算

$$\begin{equation} D(X) = E(X^2) – [E(X)]^2 \tag{2.4} \end{equation}$$

　　设随机变量 $X$ 具有数学期望 $E(X) = \mu$，方差 $D(X) = \sigma^2 \neq 0$，记

$$\begin{equation} X^* = \frac{X – \mu}{\sigma} \end{equation}$$

则

$$\begin{equation} E(X^*) = \frac{1}{\sigma}E(x – \mu) = \frac{1}{\sigma}[E(X) – \mu] = 0 \end{equation}$$

$$\begin{equation} D(X^*) = E(X^{*2}) – [E(X^*)]^2 = E[(\frac{X-\mu}{\sigma})^2] – 0 = \frac{1}{\sigma}E[(X – \mu)^2] = \frac{\sigma}{\sigma} = 1 \end{equation}$$

即 $X^*$ 的数学期望为 $0$，方差为 $1$。$X^*$ 称为 $X$ 的标准化变量。

　　方差的几个重要性质：

1. 设 $C$ 是常数，则 $D(C) = 0$。

2. 设 $X$ 是随机变量，$C$ 是常数，则有
   

   $$\begin{equation} D(CX) = C^2 D(X) D(X + C) = D(X) \end{equation}$$

3. 设 $X, Y$ 是两个随机变量，则有
   

   $$\begin{equation} D(X + Y) = D(X) + D(Y) + 2E\{(X – E(X))(Y – E(Y))\} \tag{2.5} \end{equation}$$
   特别，若 $X, Y$ 相互独立，则有
   $$\begin{equation} D(X + Y) = D(X) + D(Y) \end{equation}$$

4. $D(X) = 0$ 的充要条件是 $X$ 以概率 $1$ 取常数 $E(X)$，即
   

   $$\begin{equation} P\{X = E(X)\} = 1 \end{equation}$$

　　对于随机变量 $X \sim b(n, p)$，由二项分布的定义知，随机变量 $X$ 是 $n$ 重伯努利试验中事件 $A$ 发生的次数，且在每次试验中 $A$ 发生的概率 $p$，引入随机变量

$$\begin{equation} X_k =\begin{cases}1 & \; A 在第 k 次试验发生\\ 0 & \; A 在第 k 次试验不发生\end{cases} \;\;\;\;\;\;\;\;\; k = 1,2,\cdots,n \end{equation}$$

易知

$$\begin{equation} X = X_1 + X_2 + \cdots + X_n \tag{2.7} \end{equation}$$

由于 $X_k$ 只依赖于第 $k$ 次试验，而各次试验相互独立，于是 $X_1, X_2, \cdots, X_n$ 相互独立，又知 $X_k, k = 1,2,\cdots,n$ 服从同一 $(0-1)$ 分布。$(2.7)$ 式表明以 $n, p$ 为参数的二项分布变量，可分解成为 $n$ 个相互独立且都服从以 $p$ 为参数的 $(0-1)$ 分布的随机变量之和。有

$$\begin{equation} E(X_k) = p, D(X_k) = p(1-p), k=1,2,\cdots,n \end{equation}$$

故知

$$\begin{equation} E(X) = E(\sum_{k=1}^nX_k)=\sum_{k=1}^nE(X_k) = np \end{equation}$$

又由于 $X_1, X_2, \cdots, X_n$ 相互独立，得

$$\begin{equation} D(X) = D(\sum_{k=1}^nX_k) = \sum_{k=1}^nD(X_k) = np(1-p) \end{equation}$$

　　对于随机变量 $X \sim N(\mu, \sigma^2)$，$\mu$ 和 $\sigma$ 分别就是该分布的数学期望和均方差，因而正态分布完全可由它的数学期望和方差所确定。若 $X_i \sim N(\mu_i, \sigma_i^2), i = 1,2,\cdots,n$，且它们相互独立，则它们的线性组合：$C_1X_1 + C_2X_2 + \cdots + C_nX_n$（$C_1, C_2, \cdots, C_n$ 是不全为 $0$ 的常数）仍然服从正态分布，于是由数学期望和方差的性质知道

$$\begin{equation} C_1X_1 + C_2X_2 + \cdots + C_nX_n \sim N(\sum_{i=1}^n C_i \mu_i, \sum_{i=1}^nC_i^2 \mu_i) \tag{2.8} \end{equation}$$

　　定理　设随机变量 $X$ 具有数学期望 $E(X) = \mu$，方差 $D(X) = \sigma^2$，则对于任意正数 $\varepsilon$，不等式

$$\begin{equation} P\{|X < \mu| \geq \varepsilon\} \leq \frac{\sigma^2}{\varepsilon^2} \end{equation}$$

成立。

　　这一不等式称为切比雪夫（Chebyshev）不等式。