概率论 Cheat Sheet 13：指数随机变量

Author: nex3z 2019-01-16

1. 定义

　　如果一个连续型随机变量的密度函数对于参数 $\lambda > 0$ 有

$$\begin{equation} f(x) =\begin{cases} \lambda e^{-\lambda x} & 当 \; x \geq 0 \\ 0 & 当 \; x < 0\end{cases} \tag{1} \end{equation}$$

则称该随机变量是参数为 $\lambda$ 的指数随机变量。

　　指数随机变量的分布函数 $F(a)$ 为

$$\begin{equation} F(a) = P\{X \leq a\} = \int_0^a \lambda e^{-\lambda x} \mathrm{d}x = -e^{-\lambda x} \big\vert_0^a = 1 – e^{-\lambda a} \qquad a \geq 0 \tag{2} \end{equation}$$

2. 期望和方差

　　由式 $(1)$ 计算 $E[X^n]$ 如下

$$\begin{equation} E[X^n] = \int_{0}^{\infty} x^n \lambda e^{-\lambda x} \mathrm{d}x \end{equation}$$

令 $\lambda e^{-\lambda x} \mathrm{d}x = \mathrm{d}v$，$u = x^n$，通过分部积分，得

$$\begin{align} E[X^n] &= -x^n e^{-\lambda x} \big\vert_0^{\infty} + \int_{0}^{\infty} e^{-\lambda x} nx^{n – 1} \mathrm{d}x \\ &= 0 + \frac{n}{\lambda} \int_{0}^{\infty} \lambda e^{-\lambda x} x^{n – 1} \mathrm{d}x \\ &= \frac{n}{\lambda} E[X^{n – 1}] \end{align}$$

依次令 $n = 1$ 和 $n = 2$，得

$$\begin{equation} E[X] = \frac{1}{\lambda} \tag{3} \end{equation}$$

$$\begin{equation} E[X^2] = \frac{2}{\lambda} E[X] = \frac{2}{\lambda^2} \end{equation}$$

于是有

$$\begin{equation} \mathrm{Var}(x) = \frac{2}{\lambda^2} – \Big(\frac{1}{\lambda}\Big)^2 = \frac{1}{\lambda^2} \tag{4} \end{equation}$$

上面各式说明，即指数分布的期望等于参数 $\lambda$ 的倒数，方差等于期望的平方。

3. 应用

　　实践中，指数分布常用来描述某个时间发生的等待时间的分布，例如从现在开始地震发生的时间间隔、从现在开始接到下一个误拨电话的时间间隔等。

　　对于一个非负随机变量 $X$，如果它满足

$$\begin{equation} P\{X > s + t | X > t\} = P\{X > s\} \qquad 对于所有 \; s, t \geq 0 \tag{5} \end{equation}$$

则称随机变量 $X$ 是无记忆的（Memoryless）。假设某个设备的寿命 $X$ 满足式 $(5)$，则该设备在已使用 $t$ 小时的条件下、至少还能再使用 $s$ 小时的概率，与该设备一开始就至少能使用 $s$ 小时的概率是一样的——该设备对是经使用了 $t$ 小时是无记忆的。

　　式 $(5)$ 等价于

$$\begin{equation} \frac{P\{X > s + t, X > t\}}{P\{X > t\}} = P\{X > s\} \tag{6} \end{equation}$$

即

$$\begin{equation} P\{X > s + t\} = P\{X > s\}P\{X > t\} \tag{7} \end{equation}$$

　　当 $X$ 服从指数分布时，有

$$\begin{equation} P\{X > s + t\} = e^{-\lambda(s + t)} = e^{-\lambda s} e^{-\lambda t} = P\{X > s\}P\{X > t\} \end{equation}$$

式 $(7)$ 成立，指数随机变量是无记忆的。

　　进一步地，可以证明指数分布不仅具有无记忆性，而且是唯一具有无记忆性的分布。

4. 危险率函数

　　对于一个正值连续型随机变量 $X$，分布函数为 $F$，分布密度为 $f$，定义危险率（Hazard Rate）函数 $\lambda(t)$ 如下

$$\begin{equation} \lambda(t) = \frac{f(t)}{\overline{F(t)}} \qquad 其中 \; \overline{F(t)} = 1 – F \tag{8} \end{equation}$$

危险率也称为失效率，如果将 $X$ 解释为某个零件的寿命，则考虑该零件已经使用了 $t$ 小时，那么它不能继续使用 $\mathrm{d}t$ 小时的概率为

$$\begin{align} P\{X \in (t, t + \mathrm{d}t | X >t)\} &= \frac{P\{X \in (t, t + \mathrm{d}t, X >t)\}}{P\{X > t\}} \\ &= \frac{P\{X \in (t, t + \mathrm{d}t)\}}{P\{X > t\}} \approx \frac{f(t)}{F(t)} \mathrm{d}t \end{align}$$

可以看出，$\lambda(t)$ 表示使用时间为 $t$ 的零件不能再继续使用的条件概率的强度。

　　假设零件寿命服从指数分布，则它的寿命具有无记忆性，对于一个使用时间为 $t$ 的零件，它剩下的寿命和新的零件是一样的。因此 $\lambda(t)$ 是一个常数，即

$$\begin{equation} \lambda(t) = \frac{\lambda e^{-\lambda t}}{e^{-\lambda t}} = \lambda \end{equation}$$

也就是说，指数分布的危险率函数是一个常数，参数 $\lambda$ 称为指数分布的比率（Rate）。

　　实际上，根据危险率函数 $\lambda(s)$（$s \geq 0$）可以唯一地确定它的分布函数 $F$。对 $\lambda(s)$ 从 $0$ 到 $t$ 进行积分可得

$$\begin{align} \int_{0}^{t} \lambda(s) \mathrm{d}s &= \int_{0}^{t} \frac{f(s)}{1 – F(s)} \mathrm{d}s = -\ln(1 – F(s)) \big\vert_0^t \\ &= -\ln(1 – F(t)) + \ln(1 – F(0)) = -\ln(1 – F(t)) \end{align}$$

由上式可以解得

$$\begin{equation} F(t) = 1 – \exp\Big\{-\int_0^t \lambda(s) \mathrm{d}s\Big\} \tag{9} \end{equation}$$

　　有式 $(9)$ 可知，一个正值连续型随机变量的分布函数可以由其危险率函数唯一确定。例如对于

$$\begin{equation} \lambda(t) = a + bt \end{equation}$$

其分布函数和密度函数为

$$\begin{equation} F(t) = 1 – e^{-at – bt^2/2} \end{equation}$$

$$\begin{equation} f(t) = (a + bt)e^{-at – bt^2/2} \qquad t \geq 0 \end{equation}$$

当 $a = 0$ 时，上式即为瑞利分布（Rayleigh Distribution）的密度函数。