概率论 Cheat Sheet 10:连续型随机变量

1. 定义

  设 $X$ 是一个随机变量,如果存在一个定义在实数轴上的非负函数 $f$,使得对于任一个实数集 $B$,满足

\begin{equation}
P\{X \in B\} = \int_B f(x) \mathrm{d}x \tag{1}
\end{equation}

则称 $X$ 为连续型(Continuous)随机变量。函数 $f$ 称为随机变量 $X$ 的概率密度函数(Probability Density Function,PDF),或者称为密度函数。

  式 $(1)$ 表明 $X$ 属于 $B$ 的概率可以由概率密度函数 $f(x)$ 在集合 $B$ 上的积分得到。因为 $X$ 必取某个值,所以 $f$ 一定满足

\begin{equation}
1 = P\{X \in (-\infty, \infty)\} = \int_{-\infty}^{\infty} f(x) \mathrm{d}x
\end{equation}

所有关于 $X$ 的概率都可以由 $f$ 得到。令 $B = [a, b]$,则

\begin{equation}
P\{a \leq X \leq b\} = \int_a^b f(x) \mathrm{d}x \tag{2}
\end{equation}

式 $(2)$ 中,若令 $a = b$,则有

\begin{equation}
P\{X = a\} = \int_a^a f(x) \mathrm{d}x = 0
\end{equation}

上式说明,连续型随机变量取任何固定值的概率都等于 $0$。因此,对于一个连续型随机变量 $X$,有

\begin{equation}
P\{X < a\} = P\{X \leq a\} = F(a) = \int_{-\infty}^a f(x) \mathrm{d}x
\end{equation}

  由式 $(2)$ 可以得到一个关于概率密度函数的更直观的解释:

\begin{equation}
P\{a – \frac{\varepsilon}{2} \leq X \leq a + \frac{\varepsilon}{2}\} = \int_{a – \frac{\varepsilon}{2}}^{a + \frac{\varepsilon}{2}} f(x) \mathrm{d}x \approx \varepsilon f(a)
\end{equation}

其中 $\varepsilon$ 是一个非常小的数,$f(\cdot)$ 在 $x = a$ 处连续。也就是说,$X$ 取值于以点 $a$ 为中心,长度为 $\varepsilon$ 的区间内的概率近似等于 $\varepsilon f(a)$。由此可以看出,密度函数 $f(a)$ 是随机变量在点 $a$ 附近取值可能性的一个度量。

  分布函数 $F$ 和密度函数 $f$ 之间的关系可以表示为

\begin{equation}
F(a) = P\{X \in (-\infty, a]\} = \int_{-\infty}^a f(x) \mathrm{d}x
\end{equation}

对上式两边求导,得

\begin{equation}
\frac{\mathrm{d}}{\mathrm{d}x}F(a) = f(a) \tag{3}
\end{equation}

即密度函数是累计分布函数的导数。

2. 连续型随机变量的期望和方差

  前文中,将离散型随机变量的期望定义如下

\begin{equation}
E[X] = \sum_x x P\{X = x\}
\end{equation}

如果 $X$ 是一个连续型随机变量,密度函数为 $f(x)$,则对于很小的 $\mathrm{d}x$ 有

\begin{equation}
f(x) \mathrm{d}x \approx P\{x \leq X \leq x + \mathrm{d}x\}
\end{equation}

于是可以用类似的方法定义连续型随机变量的期望为

\begin{equation}
E[X] = \int_{-\infty}^{\infty} xf(x) \mathrm{d}x \tag{4}
\end{equation}

  类似于离散型随机变量,对于连续型随机变量,也有如下结论成立。

  命题 设 $X$ 是一个连续型随机变量,其概率密度函数为 $f(x)$,那么对于任一实值函数 $g$,有

\begin{equation}
E[g(X)] = \int_{-\infty}^{\infty} g(x) f(x) \mathrm{d}x \tag{5}
\end{equation}

  引理 对于一个非负随机变量 $Y$,有

\begin{equation}
E[Y] = \int_{0}^{\infty} P\{Y > y\} \mathrm{d}y
\end{equation}

  推论 如果 $a$ 和 $b$ 都是常数,那么

\begin{equation}
E[aX + b] = aE[X] + b \tag{6}
\end{equation}

  连续型随机变量的方差的定义也和离散型随机变量一样,如果 $X$ 是一个连续型随机变量,期望值为 $\mu$,则 $X$ 的方差定义为

\begin{equation}
Var(X) = E[(X – \mu)^2] \tag{7}
\end{equation}

另一种定义公式为

\begin{equation}
Var(X) = E[X^2] – (E[X])^2 \tag{8}
\end{equation}

  对于常数 $a$ 和 $b$,有

\begin{equation}
Var(aX + b) = a^2 Var(X) \tag{9}
\end{equation}