概率论 Cheat Sheet 4：随机变量的数学特征（1）
1. 数学期望
定义 设离散型随机变量 $X$ 的分布律为
\begin{equation}
P\{X=x_k\} = p_k, \; k=1,2,\cdots
\end{equation}
若级数
\begin{equation}
\sum_{k=1}^{\infty}x_k p_k
\end{equation}
绝对收敛，则称级数 $\sum\limits_{k=1}^{\infty}x_k p_k$ 的和为随机变量 $X$ 的数学期望，记为 $E(X)$。即
\begin{equation}
E(X) = \sum_{k=1}^{\infty}x_k p_k \tag{1.1}
\end{equation}
设连续型随机变量 $X$ 的概率密度为 $f(x)$，若积分
\begin{equation}
\int_{-\infty}^{\infty}xf(x)dx
\end{equation}
绝对收敛，则称积分 $\int_{-\infty}^{\infty}xf(x)dx$ 的值为随机变量 $X$ 的数学期望，记为 $E(X)$。即
\begin{equation}
E(X) = \int_{-\infty}^{\infty}xf(x)dx \tag{1.2}
\end{equation}
数学期望简称期望，又称均值。
数学期望 $E(X)$ 完全由随机变量 $X$ 的概率分布所确定。若 $X$ 服从某一分布，也称 $E(X)$ 是这一分布的数学期望。
定理 设 $Y$ 是随机变量 $X$ 的函数：$Y = g(X)$（$g$ 是连续函数）。
（i）如果 $X$ 是离散型随机变量，它的分布律为 $P\{X=x_k\} = p_k, \; k=1,2,\cdots$，若 $\sum\limits_{k=1}^{\infty}g(x_k)p_k$ 绝对收敛，则有
\begin{equation}
E(Y) = E[g(X)] = \sum_{k=1}^{\infty}g(x_k)p_k \tag{1.3}
\end{equation}
（ii）如果 $X$ 是连续型随机变量，它的概率密度为 $f(x)$，若 $\int_{-\infty}^{\infty}g(x)f(x)dx$ 绝对收敛，则有
\begin{equation}
E(Y) = E[g(x)] = \int_{-\infty}^{\infty}g(x)f(x)dx \tag{1.4}
\end{equation}
定理的重要意义在于当我们求 $E(Y)$ 时，不必算出 $Y$ 的分布律或概率密度，而只需利用 $X$ 的分布律或概率密度就可以了。
数学期望的几个重要性质：
- 设 $C$ 是常数，则有 $E(C) = C$。
-
设 $X$ 是一个随机变量，$C$ 是常数，则有
\begin{equation}
E(CX) = CE(X)
\end{equation} -
设 $X, Y$ 是两个随机变量，则有
\begin{equation}
E(X + Y) = E(X) + E(Y)
\end{equation}
这一性质可以推广到任意有限个随机变量之和的情况。 -
设 $X, Y$ 是相互独立的随机变量，则有
\begin{equation}
E(XY) = E(X)E(Y)
\end{equation}
这一性质可以推广到任意有限个相互独立的随机变量之积的情况。
2. 方差
定义 设 $X$ 是一个随机变量，若 $E\{[X – E(X)]^2\}$ 存在，则称 $E\{[X – E(X)]^2\}$ 为 $X$ 的方差，记为 $D(X)$ 或 $Var(X)$，即
\begin{equation}
D(X) = Var(X) = E\{[X – E(X)]^2\} \tag{2.1}
\end{equation}
从应用上还引入量 $\sqrt{D(X)}$，记为 $\sigma(X)$，称为标准差或均方差。
由定义知，方差实际上就是随机变量 $X$ 的函数 $g(X) = [X – E(X)]^2$ 的数学期望。于是对于离散型随机变量，按 $(1.3)$ 式有
\begin{equation}
D(X) = \sum_{k=1}^{\infty}[x_k – E(X)]^2p_k \tag{2.2}
\end{equation}
其中 $P\{X=x_k\} = p_k, \; k=1,2,\cdots$ 是 $X$ 的分布律。
对于连续型随机变量，按 $(1.4)$ 式有
\begin{equation}
D(X) = \int_{-\infty}^{\infty}[x – E(X)]^2 f(x)dx \tag{2.3}
\end{equation}
其中 $f(x)$ 是 $X$ 的概率密度。
随机变量 $X$ 的方差可按下列公式计算
\begin{equation}
D(X) = E(X^2) – [E(X)]^2 \tag{2.4}
\end{equation}
设随机变量 $X$ 具有数学期望 $E(X) = \mu$，方差 $D(X) = \sigma^2 \neq 0$，记
\begin{equation}
X^* = \frac{X – \mu}{\sigma}
\end{equation}
则
\begin{equation}
E(X^*) = \frac{1}{\sigma}E(x – \mu) = \frac{1}{\sigma}[E(X) – \mu] = 0
\end{equation}
\begin{equation}
D(X^*) = E(X^{*2}) – [E(X^*)]^2 = E[(\frac{X-\mu}{\sigma})^2] – 0 = \frac{1}{\sigma}E[(X – \mu)^2] = \frac{\sigma}{\sigma} = 1
\end{equation}
即 $X^*$ 的数学期望为 $0$，方差为 $1$。$X^*$ 称为 $X$ 的标准化变量。
方差的几个重要性质：
- 设 $C$ 是常数，则 $D(C) = 0$。
-
设 $X$ 是随机变量，$C$ 是常数，则有
\begin{equation}
D(CX) = C^2 D(X)
D(X + C) = D(X)
\end{equation} -
设 $X, Y$ 是两个随机变量，则有
\begin{equation}
D(X + Y) = D(X) + D(Y) + 2E\{(X – E(X))(Y – E(Y))\} \tag{2.5}
\end{equation}
特别，若 $X, Y$ 相互独立，则有
\begin{equation}
D(X + Y) = D(X) + D(Y)
\end{equation} -
$D(X) = 0$ 的充要条件是 $X$ 以概率 $1$ 取常数 $E(X)$，即
\begin{equation}
P\{X = E(X)\} = 1
\end{equation}
对于随机变量 $X \sim b(n, p)$，由二项分布的定义知，随机变量 $X$ 是 $n$ 重伯努利试验中事件 $A$ 发生的次数，且在每次试验中 $A$ 发生的概率 $p$，引入随机变量
\begin{equation}
X_k =\begin{cases}1 & \; A 在第 k 次试验发生\\
0 & \; A 在第 k 次试验不发生\end{cases}
\;\;\;\;\;\;\;\;\; k = 1,2,\cdots,n
\end{equation}
易知
\begin{equation}
X = X_1 + X_2 + \cdots + X_n \tag{2.7}
\end{equation}
由于 $X_k$ 只依赖于第 $k$ 次试验，而各次试验相互独立，于是 $X_1, X_2, \cdots, X_n$ 相互独立，又知 $X_k, k = 1,2,\cdots,n$ 服从同一 $(0-1)$ 分布。$(2.7)$ 式表明以 $n, p$ 为参数的二项分布变量，可分解成为 $n$ 个相互独立且都服从以 $p$ 为参数的 $(0-1)$ 分布的随机变量之和。有
\begin{equation}
E(X_k) = p, D(X_k) = p(1-p), k=1,2,\cdots,n
\end{equation}
故知
\begin{equation}
E(X) = E(\sum_{k=1}^nX_k)=\sum_{k=1}^nE(X_k) = np
\end{equation}
又由于 $X_1, X_2, \cdots, X_n$ 相互独立，得
\begin{equation}
D(X) = D(\sum_{k=1}^nX_k) = \sum_{k=1}^nD(X_k) = np(1-p)
\end{equation}
对于随机变量 $X \sim N(\mu, \sigma^2)$，$\mu$ 和 $\sigma$ 分别就是该分布的数学期望和均方差，因而正态分布完全可由它的数学期望和方差所确定。若 $X_i \sim N(\mu_i, \sigma_i^2), i = 1,2,\cdots,n$，且它们相互独立，则它们的线性组合：$C_1X_1 + C_2X_2 + \cdots + C_nX_n$（$C_1, C_2, \cdots, C_n$ 是不全为 $0$ 的常数）仍然服从正态分布，于是由数学期望和方差的性质知道
\begin{equation}
C_1X_1 + C_2X_2 + \cdots + C_nX_n \sim N(\sum_{i=1}^n C_i \mu_i, \sum_{i=1}^nC_i^2 \mu_i) \tag{2.8}
\end{equation}
定理 设随机变量 $X$ 具有数学期望 $E(X) = \mu$，方差 $D(X) = \sigma^2$，则对于任意正数 $\varepsilon$，不等式
\begin{equation}
P\{|X < \mu| \geq \varepsilon\} \leq \frac{\sigma^2}{\varepsilon^2}
\end{equation}
成立。
这一不等式称为切比雪夫（Chebyshev）不等式。