概率论 Cheat Sheet 14:其他连续型概率分布

1. $\Gamma$ 分布

  如果一个随机变量具有密度函数

\begin{equation}
f(x) = \begin{cases}\frac{\lambda e^{-\lambda x} (\lambda x)^{\alpha – 1}}{\Gamma(\alpha)} & x \geq 0 \\
0 & x < 0\end{cases} \tag{1}
\end{equation}

其中 $\Gamma(\alpha)$ 称为 $\Gamma$ 函数,则称该随机变量服从参数为 $(\alpha, \lambda)$ 的 $\Gamma$ 分布,其中 $\alpha > 0$,$\lambda > 0$。 $\Gamma$ 函数的定义为

\begin{equation}
\Gamma(\alpha) = \int_{0}^{\infty} e^{-y} y^{\alpha – 1} \mathrm{d}y \tag{2}
\end{equation}

  对上式右边进行分部积分可得

\begin{align}
\Gamma(\alpha) &= -e^{-y} y^{\alpha – 1} \big\vert_0^{\infty} + \int_{0}^{\infty} e^{-y} (\alpha – 1) y^{\alpha – 2} \mathrm{d}y \\
&= (\alpha – 1) \int_{0}^{\infty} e^{-y} y^{\alpha – 2} = (\alpha – 1) \Gamma(\alpha – 1) \tag{3}
\end{align}

对 $\alpha = n$,重复应用式 $(3)$,得到

\begin{align}
\Gamma(n) &= (n – 1)\Gamma(n – 1) = (n – 1)(n – 2)\Gamma(n – 2) = \cdots \\
&= (n – 1) \times (n – 1) \times \cdots \times 2 \times \Gamma(1)
\end{align}

又由

\begin{equation}
\Gamma(1) = \int_{0}^{\infty} e^{-y} \mathrm{d}y = 1
\end{equation}

于是

\begin{equation}
\Gamma(n) = (n – 1)!
\end{equation}

  当 $\alpha$ 为一个正整数,如 $\alpha = n$ 时,参数为 $(\alpha, \lambda)$ 的 $\Gamma$ 分布在实践中常作为某个事件总共要发生 $n$ 次的等待时间的分布。具体来说,如果 $n$ 个事件是随机发生的,且满足前文的三个条件,则可以证明要等待某个事件一共发生 $n$ 次的时间是服从参数为 $(n, \lambda)$ 的 $\Gamma$ 分布。令 $T_n$ 表示第 $n$ 个事件地发生事件,注意 $T_n \leq t$ 的充要条件是在时刻 $t$ 以前至少发生了 $n$ 次事件,既在时间区间 $[0, t]$ 内发生的事件数 $N(t) \geq n$,因此

\begin{equation}
P\{T_n \leq t\} = P\{N(t) \geq n\} = \sum_{j=n}^{\infty} P\{N(t) = j\}
\end{equation}

由于在 $[0, t]$ 内发生的事件数服从参数为 $\lambda t$ 的泊松分布,于是有

\begin{equation}
P\{T_n \leq t\} = \sum_{j=n}^{\infty} \frac{e^{-\lambda t}(\lambda t)^j}{j!} \tag{4}
\end{equation}

对上式求导,得到 $T_n$ 的概率密度函数如下

\begin{align}
f(t) &= \sum_{j = n}^{\infty} \frac{e^{-\lambda t} j (\lambda t)^{j – 1} \lambda}{j!} – \sum_{j=n}^{\infty} \frac{\lambda e^{-\lambda t}(\lambda t)^j}{j!} \\
&= \sum_{j = n}^{\infty} \frac{e^{-\lambda t} (\lambda t)^{j – 1} \lambda}{(j – 1)!} – \sum_{j=n}^{\infty} \frac{\lambda e^{-\lambda t}(\lambda t)^j}{j!} \\
&= \frac{\lambda e^{-\lambda t} (\lambda t)^{(n – 1)}}{(n – 1)!} \tag{5}
\end{align}

因此 $T_n$ 服从参数为 $(n, \lambda)$ 的 $\Gamma$ 分布。当 $n = 1$ 时,该分布退化为指数分布。

  参数为 $\lambda = \frac{1}{2}$,$\alpha = \frac{n}{2}$($n$ 为正整数)的 $\Gamma$ 分布称为自由度为 $n$ 的 $\chi^2$ 分布。实际中,卡方分布经常出现在误差分布中。例如在 $n$ 维空间中射击一个靶子,中弹点各坐标的的偏差相互独立且为标准正态分布,则偏差的平方和服从自由度为 $n$ 的 $\chi^2$ 分布。

  随机变量 $X$ 服从参数为 $(\alpha, \lambda)$ 的 $\Gamma$ 分布,由式 $(1)$,计算其期望为

\begin{align}
E[X] &= \frac{1}{\Gamma(\alpha)} \int_0^{\infty} x \lambda e^{-\lambda x} (\lambda x)^{\alpha – 1} \mathrm{d}x = \frac{1}{\lambda \Gamma(\alpha)} \int_0^{\infty} \lambda e^{-\lambda x} (\lambda x)^{\alpha} \mathrm{d}x \\
&= \frac{\Gamma(\alpha + 1)}{\lambda \Gamma(\alpha)} = \frac{\alpha}{\lambda} \tag{6}
\end{align}

  通过 $E[X^2]$ 计算其方差为

\begin{equation}
Var(X) = \frac{a}{\lambda^2} \tag{7}
\end{equation}

2. 韦布尔分布

  韦布尔分布的分布函数具有如下形式

\begin{equation}
F(x) = \begin{cases}0 & x \leq \nu \\
1 – \exp\Big\{ -\Big(\frac{x – \nu}{\alpha}\Big)^\beta \Big\} & x > \nu\end{cases} \tag{8}
\end{equation}

如果一个随机变量的分布函数具有式 $(8)$ 的形式,则称其服从参数为 $\nu$,$\alpha$ 和 $\beta$ 的韦布尔分布

  对式 $(8)$ 求导得到密度函数为

\begin{equation}
f(x) = \begin{cases}0 & x \leq \nu \\
\frac{\beta}{\alpha} (\frac{x – \nu}{\alpha})^{\beta – 1} \exp\Big\{ -\Big(\frac{x – \nu}{\alpha}\Big)^\beta \Big\} & x > \nu\end{cases} \tag{9}
\end{equation}

  韦布尔分布最初是在解释疲劳数据时提出的,在有关生命现象的领域有着广泛的应用。当某对象符合“最弱链”模型时,其寿命就符合韦布尔分布。例如对于一个由许多部分组成的对象,假定当它的任何一部分毁坏时此对象的寿命就终止,此时韦布尔分布为这个对象的寿命提供了一个很好的近似。

3. 柯西分布

  如果一个随机变量的密度函数形如

\begin{equation}
f(x) = \frac{1}{\pi} \frac{1}{1 + (x – \theta)^2} \qquad -\infty < x < \infty \tag{10}
\end{equation}

则称该随机变量服从参数为 $\theta$($-\infty < \theta < \infty$)的柯西分布

4. $\beta$ 分布

  如果一个随机变量的密度函数形如

\begin{equation}
f(x) = \begin{cases}\frac{1}{B(a, b)} x^{a – 1} (1 – x)^{b – 1} & 0 < x <1 \\
0 & 其他 \end{cases} \tag{11}
\end{equation}

其中 $B(a, b)$ 称为 $\beta$ 函数,定义为

\begin{equation}
B(a, b) = \int_0^1 x^{a – 1} (1 – x)^{b – 1} \mathrm{d}x \tag{12}
\end{equation}

则称该随机变量服从 $\beta$ 分布

  $\beta$ 分布通常用来为取值于某有线区间 $[c, d]$ 的随机现象建立模型。如果设 $c$ 为原点,$d – c$ 为度量单位,那么可将取值区间转化为 $[0, 1]$。

  当 $a = b$ 是,$\beta$ 分布的密度函数关于 $x = \frac{1}{2}$ 对称,随着公共值 $a$ 的增大,取值于 $\frac{1}{2}$ 附近的权重会越来越大;当 $a = b = 1$ 时,$\beta$ 分布就退化成区间 $(0, 1)$ 上的均匀分布。当 $b > a$ 时,密度函数向左偏斜,即取小值的可能性更大;当 $a > b$ 时,密度函数向右偏斜。

  可以证明,式 $(12)$ 所示的 $\beta$ 函数与 $\Gamma$ 函数之间存在以下关系

\begin{equation}
B(a, b) = \frac{\Gamma(a)\Gamma(b)}{\Gamma(a + b)} \tag{13}
\end{equation}

利用式 $(3)$ 和式 $(13)$,可以证明,如果 $X$ 是参数为 $a$ 和 $b$ 的 $\beta$ 随机变量,那么

\begin{equation}
E[X] = \frac{a}{a + b} \tag{14}
\end{equation}

\begin{equation}
\mathrm{Var}(x) = \frac{ab}{(a + b)^2(a + b + 1)} \tag{15}
\end{equation}