概率论 Cheat Sheet 10：连续型随机变量
Contents
1. 定义
设 $X$ 是一个随机变量，如果存在一个定义在实数轴上的非负函数 $f$，使得对于任一个实数集 $B$，满足
\begin{equation}
P\{X \in B\} = \int_B f(x) \mathrm{d}x \tag{1}
\end{equation}
则称 $X$ 为连续型（Continuous）随机变量。函数 $f$ 称为随机变量 $X$ 的概率密度函数（Probability Density Function，PDF），或者称为密度函数。
式 $(1)$ 表明 $X$ 属于 $B$ 的概率可以由概率密度函数 $f(x)$ 在集合 $B$ 上的积分得到。因为 $X$ 必取某个值，所以 $f$ 一定满足
\begin{equation}
1 = P\{X \in (-\infty, \infty)\} = \int_{-\infty}^{\infty} f(x) \mathrm{d}x
\end{equation}
所有关于 $X$ 的概率都可以由 $f$ 得到。令 $B = [a, b]$，则
\begin{equation}
P\{a \leq X \leq b\} = \int_a^b f(x) \mathrm{d}x \tag{2}
\end{equation}
式 $(2)$ 中，若令 $a = b$，则有
\begin{equation}
P\{X = a\} = \int_a^a f(x) \mathrm{d}x = 0
\end{equation}
上式说明，连续型随机变量取任何固定值的概率都等于 $0$。因此，对于一个连续型随机变量 $X$，有
\begin{equation}
P\{X < a\} = P\{X \leq a\} = F(a) = \int_{-\infty}^a f(x) \mathrm{d}x
\end{equation}
由式 $(2)$ 可以得到一个关于概率密度函数的更直观的解释：
\begin{equation}
P\{a – \frac{\varepsilon}{2} \leq X \leq a + \frac{\varepsilon}{2}\} = \int_{a – \frac{\varepsilon}{2}}^{a + \frac{\varepsilon}{2}} f(x) \mathrm{d}x \approx \varepsilon f(a)
\end{equation}
其中 $\varepsilon$ 是一个非常小的数，$f(\cdot)$ 在 $x = a$ 处连续。也就是说，$X$ 取值于以点 $a$ 为中心，长度为 $\varepsilon$ 的区间内的概率近似等于 $\varepsilon f(a)$。由此可以看出，密度函数 $f(a)$ 是随机变量在点 $a$ 附近取值可能性的一个度量。
分布函数 $F$ 和密度函数 $f$ 之间的关系可以表示为
\begin{equation}
F(a) = P\{X \in (-\infty, a]\} = \int_{-\infty}^a f(x) \mathrm{d}x
\end{equation}
对上式两边求导，得
\begin{equation}
\frac{\mathrm{d}}{\mathrm{d}x}F(a) = f(a) \tag{3}
\end{equation}
即密度函数是累计分布函数的导数。
2. 连续型随机变量的期望和方差
前文中，将离散型随机变量的期望定义如下
\begin{equation}
E[X] = \sum_x x P\{X = x\}
\end{equation}
如果 $X$ 是一个连续型随机变量，密度函数为 $f(x)$，则对于很小的 $\mathrm{d}x$ 有
\begin{equation}
f(x) \mathrm{d}x \approx P\{x \leq X \leq x + \mathrm{d}x\}
\end{equation}
于是可以用类似的方法定义连续型随机变量的期望为
\begin{equation}
E[X] = \int_{-\infty}^{\infty} xf(x) \mathrm{d}x \tag{4}
\end{equation}
类似于离散型随机变量，对于连续型随机变量，也有如下结论成立。
命题 设 $X$ 是一个连续型随机变量，其概率密度函数为 $f(x)$，那么对于任一实值函数 $g$，有
\begin{equation}
E[g(X)] = \int_{-\infty}^{\infty} g(x) f(x) \mathrm{d}x \tag{5}
\end{equation}
引理 对于一个非负随机变量 $Y$，有
\begin{equation}
E[Y] = \int_{0}^{\infty} P\{Y > y\} \mathrm{d}y
\end{equation}
推论 如果 $a$ 和 $b$ 都是常数，那么
\begin{equation}
E[aX + b] = aE[X] + b \tag{6}
\end{equation}
连续型随机变量的方差的定义也和离散型随机变量一样，如果 $X$ 是一个连续型随机变量，期望值为 $\mu$，则 $X$ 的方差定义为
\begin{equation}
Var(X) = E[(X – \mu)^2] \tag{7}
\end{equation}
另一种定义公式为
\begin{equation}
Var(X) = E[X^2] – (E[X])^2 \tag{8}
\end{equation}
对于常数 $a$ 和 $b$，有
\begin{equation}
Var(aX + b) = a^2 Var(X) \tag{9}
\end{equation}