概率论 Cheat Sheet 10：连续型随机变量

Author: nex3z 2019-01-14

1. 定义

　　设 $X$ 是一个随机变量，如果存在一个定义在实数轴上的非负函数 $f$，使得对于任一个实数集 $B$，满足

$$\begin{equation} P\{X \in B\} = \int_B f(x) \mathrm{d}x \tag{1} \end{equation}$$

则称 $X$ 为连续型（Continuous）随机变量。函数 $f$ 称为随机变量 $X$ 的概率密度函数（Probability Density Function，PDF），或者称为密度函数。

　　式 $(1)$ 表明 $X$ 属于 $B$ 的概率可以由概率密度函数 $f(x)$ 在集合 $B$ 上的积分得到。因为 $X$ 必取某个值，所以 $f$ 一定满足

$$\begin{equation} 1 = P\{X \in (-\infty, \infty)\} = \int_{-\infty}^{\infty} f(x) \mathrm{d}x \end{equation}$$

所有关于 $X$ 的概率都可以由 $f$ 得到。令 $B = [a, b]$，则

$$\begin{equation} P\{a \leq X \leq b\} = \int_a^b f(x) \mathrm{d}x \tag{2} \end{equation}$$

式 $(2)$ 中，若令 $a = b$，则有

$$\begin{equation} P\{X = a\} = \int_a^a f(x) \mathrm{d}x = 0 \end{equation}$$

上式说明，连续型随机变量取任何固定值的概率都等于 $0$。因此，对于一个连续型随机变量 $X$，有

$$\begin{equation} P\{X < a\} = P\{X \leq a\} = F(a) = \int_{-\infty}^a f(x) \mathrm{d}x \end{equation}$$

　　由式 $(2)$ 可以得到一个关于概率密度函数的更直观的解释：

$$\begin{equation} P\{a – \frac{\varepsilon}{2} \leq X \leq a + \frac{\varepsilon}{2}\} = \int_{a – \frac{\varepsilon}{2}}^{a + \frac{\varepsilon}{2}} f(x) \mathrm{d}x \approx \varepsilon f(a) \end{equation}$$

其中 $\varepsilon$ 是一个非常小的数，$f(\cdot)$ 在 $x = a$ 处连续。也就是说，$X$ 取值于以点 $a$ 为中心，长度为 $\varepsilon$ 的区间内的概率近似等于 $\varepsilon f(a)$。由此可以看出，密度函数 $f(a)$ 是随机变量在点 $a$ 附近取值可能性的一个度量。

　　分布函数 $F$ 和密度函数 $f$ 之间的关系可以表示为

$$\begin{equation} F(a) = P\{X \in (-\infty, a]\} = \int_{-\infty}^a f(x) \mathrm{d}x \end{equation}$$

对上式两边求导，得

$$\begin{equation} \frac{\mathrm{d}}{\mathrm{d}x}F(a) = f(a) \tag{3} \end{equation}$$

即密度函数是累计分布函数的导数。

2. 连续型随机变量的期望和方差

　　前文中，将离散型随机变量的期望定义如下

$$\begin{equation} E[X] = \sum_x x P\{X = x\} \end{equation}$$

如果 $X$ 是一个连续型随机变量，密度函数为 $f(x)$，则对于很小的 $\mathrm{d}x$ 有

$$\begin{equation} f(x) \mathrm{d}x \approx P\{x \leq X \leq x + \mathrm{d}x\} \end{equation}$$

于是可以用类似的方法定义连续型随机变量的期望为

$$\begin{equation} E[X] = \int_{-\infty}^{\infty} xf(x) \mathrm{d}x \tag{4} \end{equation}$$

　　类似于离散型随机变量，对于连续型随机变量，也有如下结论成立。

　　命题　设 $X$ 是一个连续型随机变量，其概率密度函数为 $f(x)$，那么对于任一实值函数 $g$，有

$$\begin{equation} E[g(X)] = \int_{-\infty}^{\infty} g(x) f(x) \mathrm{d}x \tag{5} \end{equation}$$

　　引理　对于一个非负随机变量 $Y$，有

$$\begin{equation} E[Y] = \int_{0}^{\infty} P\{Y > y\} \mathrm{d}y \end{equation}$$

　　推论　如果 $a$ 和 $b$ 都是常数，那么

$$\begin{equation} E[aX + b] = aE[X] + b \tag{6} \end{equation}$$

　　连续型随机变量的方差的定义也和离散型随机变量一样，如果 $X$ 是一个连续型随机变量，期望值为 $\mu$，则 $X$ 的方差定义为

$$\begin{equation} Var(X) = E[(X – \mu)^2] \tag{7} \end{equation}$$

另一种定义公式为

$$\begin{equation} Var(X) = E[X^2] – (E[X])^2 \tag{8} \end{equation}$$

　　对于常数 $a$ 和 $b$，有

$$\begin{equation} Var(aX + b) = a^2 Var(X) \tag{9} \end{equation}$$