概率论 Cheat Sheet 13：指数随机变量
1. 定义
如果一个连续型随机变量的密度函数对于参数 $\lambda > 0$ 有
\begin{equation}
f(x) =\begin{cases} \lambda e^{-\lambda x} & 当 \; x \geq 0 \\
0 & 当 \; x < 0\end{cases} \tag{1}
\end{equation}
则称该随机变量是参数为 $\lambda$ 的指数随机变量。
指数随机变量的分布函数 $F(a)$ 为
\begin{equation}
F(a) = P\{X \leq a\} = \int_0^a \lambda e^{-\lambda x} \mathrm{d}x = -e^{-\lambda x} \big\vert_0^a = 1 – e^{-\lambda a} \qquad a \geq 0 \tag{2}
\end{equation}
2. 期望和方差
由式 $(1)$ 计算 $E[X^n]$ 如下
\begin{equation}
E[X^n] = \int_{0}^{\infty} x^n \lambda e^{-\lambda x} \mathrm{d}x
\end{equation}
令 $\lambda e^{-\lambda x} \mathrm{d}x = \mathrm{d}v$，$u = x^n$，通过分部积分，得
\begin{align}
E[X^n] &= -x^n e^{-\lambda x} \big\vert_0^{\infty} + \int_{0}^{\infty} e^{-\lambda x} nx^{n – 1} \mathrm{d}x \\
&= 0 + \frac{n}{\lambda} \int_{0}^{\infty} \lambda e^{-\lambda x} x^{n – 1} \mathrm{d}x \\
&= \frac{n}{\lambda} E[X^{n – 1}]
\end{align}
依次令 $n = 1$ 和 $n = 2$，得
\begin{equation}
E[X] = \frac{1}{\lambda} \tag{3}
\end{equation}
\begin{equation}
E[X^2] = \frac{2}{\lambda} E[X] = \frac{2}{\lambda^2}
\end{equation}
于是有
\begin{equation}
\mathrm{Var}(x) = \frac{2}{\lambda^2} – \Big(\frac{1}{\lambda}\Big)^2 = \frac{1}{\lambda^2} \tag{4}
\end{equation}
上面各式说明，即指数分布的期望等于参数 $\lambda$ 的倒数，方差等于期望的平方。
3. 应用
实践中，指数分布常用来描述某个时间发生的等待时间的分布，例如从现在开始地震发生的时间间隔、从现在开始接到下一个误拨电话的时间间隔等。
对于一个非负随机变量 $X$，如果它满足
\begin{equation}
P\{X > s + t | X > t\} = P\{X > s\} \qquad 对于所有 \; s, t \geq 0 \tag{5}
\end{equation}
则称随机变量 $X$ 是无记忆的（Memoryless）。假设某个设备的寿命 $X$ 满足式 $(5)$，则该设备在已使用 $t$ 小时的条件下、至少还能再使用 $s$ 小时的概率，与该设备一开始就至少能使用 $s$ 小时的概率是一样的——该设备对是经使用了 $t$ 小时是无记忆的。
式 $(5)$ 等价于
\begin{equation}
\frac{P\{X > s + t, X > t\}}{P\{X > t\}} = P\{X > s\} \tag{6}
\end{equation}
即
\begin{equation}
P\{X > s + t\} = P\{X > s\}P\{X > t\} \tag{7}
\end{equation}
当 $X$ 服从指数分布时，有
\begin{equation}
P\{X > s + t\} = e^{-\lambda(s + t)} = e^{-\lambda s} e^{-\lambda t} = P\{X > s\}P\{X > t\}
\end{equation}
式 $(7)$ 成立，指数随机变量是无记忆的。
进一步地，可以证明指数分布不仅具有无记忆性，而且是唯一具有无记忆性的分布。
4. 危险率函数
对于一个正值连续型随机变量 $X$，分布函数为 $F$，分布密度为 $f$，定义危险率（Hazard Rate）函数 $\lambda(t)$ 如下
\begin{equation}
\lambda(t) = \frac{f(t)}{\overline{F(t)}} \qquad 其中 \; \overline{F(t)} = 1 – F \tag{8}
\end{equation}
危险率也称为失效率，如果将 $X$ 解释为某个零件的寿命，则考虑该零件已经使用了 $t$ 小时，那么它不能继续使用 $\mathrm{d}t$ 小时的概率为
\begin{align}
P\{X \in (t, t + \mathrm{d}t | X >t)\} &= \frac{P\{X \in (t, t + \mathrm{d}t, X >t)\}}{P\{X > t\}} \\
&= \frac{P\{X \in (t, t + \mathrm{d}t)\}}{P\{X > t\}} \approx \frac{f(t)}{F(t)} \mathrm{d}t
\end{align}
可以看出，$\lambda(t)$ 表示使用时间为 $t$ 的零件不能再继续使用的条件概率的强度。
假设零件寿命服从指数分布，则它的寿命具有无记忆性，对于一个使用时间为 $t$ 的零件，它剩下的寿命和新的零件是一样的。因此 $\lambda(t)$ 是一个常数，即
\begin{equation}
\lambda(t) = \frac{\lambda e^{-\lambda t}}{e^{-\lambda t}} = \lambda
\end{equation}
也就是说，指数分布的危险率函数是一个常数，参数 $\lambda$ 称为指数分布的比率（Rate）。
实际上，根据危险率函数 $\lambda(s)$（$s \geq 0$）可以唯一地确定它的分布函数 $F$。对 $\lambda(s)$ 从 $0$ 到 $t$ 进行积分可得
\begin{align}
\int_{0}^{t} \lambda(s) \mathrm{d}s &= \int_{0}^{t} \frac{f(s)}{1 – F(s)} \mathrm{d}s = -\ln(1 – F(s)) \big\vert_0^t \\
&= -\ln(1 – F(t)) + \ln(1 – F(0)) = -\ln(1 – F(t))
\end{align}
由上式可以解得
\begin{equation}
F(t) = 1 – \exp\Big\{-\int_0^t \lambda(s) \mathrm{d}s\Big\} \tag{9}
\end{equation}
有式 $(9)$ 可知，一个正值连续型随机变量的分布函数可以由其危险率函数唯一确定。例如对于
\begin{equation}
\lambda(t) = a + bt
\end{equation}
其分布函数和密度函数为
\begin{equation}
F(t) = 1 – e^{-at – bt^2/2}
\end{equation}
\begin{equation}
f(t) = (a + bt)e^{-at – bt^2/2} \qquad t \geq 0
\end{equation}
当 $a = 0$ 时，上式即为瑞利分布（Rayleigh Distribution）的密度函数。