概率论 Cheat Sheet 14：其他连续型概率分布
1. $\Gamma$ 分布
如果一个随机变量具有密度函数
\begin{equation}
f(x) = \begin{cases}\frac{\lambda e^{-\lambda x} (\lambda x)^{\alpha – 1}}{\Gamma(\alpha)} & x \geq 0 \\
0 & x < 0\end{cases} \tag{1}
\end{equation}
其中 $\Gamma(\alpha)$ 称为 $\Gamma$ 函数，则称该随机变量服从参数为 $(\alpha, \lambda)$ 的 $\Gamma$ 分布，其中 $\alpha > 0$，$\lambda > 0$。 $\Gamma$ 函数的定义为
\begin{equation}
\Gamma(\alpha) = \int_{0}^{\infty} e^{-y} y^{\alpha – 1} \mathrm{d}y \tag{2}
\end{equation}
对上式右边进行分部积分可得
\begin{align}
\Gamma(\alpha) &= -e^{-y} y^{\alpha – 1} \big\vert_0^{\infty} + \int_{0}^{\infty} e^{-y} (\alpha – 1) y^{\alpha – 2} \mathrm{d}y \\
&= (\alpha – 1) \int_{0}^{\infty} e^{-y} y^{\alpha – 2} = (\alpha – 1) \Gamma(\alpha – 1) \tag{3}
\end{align}
对 $\alpha = n$，重复应用式 $(3)$，得到
\begin{align}
\Gamma(n) &= (n – 1)\Gamma(n – 1) = (n – 1)(n – 2)\Gamma(n – 2) = \cdots \\
&= (n – 1) \times (n – 1) \times \cdots \times 2 \times \Gamma(1)
\end{align}
又由
\begin{equation}
\Gamma(1) = \int_{0}^{\infty} e^{-y} \mathrm{d}y = 1
\end{equation}
于是
\begin{equation}
\Gamma(n) = (n – 1)!
\end{equation}
当 $\alpha$ 为一个正整数，如 $\alpha = n$ 时，参数为 $(\alpha, \lambda)$ 的 $\Gamma$ 分布在实践中常作为某个事件总共要发生 $n$ 次的等待时间的分布。具体来说，如果 $n$ 个事件是随机发生的，且满足前文的三个条件，则可以证明要等待某个事件一共发生 $n$ 次的时间是服从参数为 $(n, \lambda)$ 的 $\Gamma$ 分布。令 $T_n$ 表示第 $n$ 个事件地发生事件，注意 $T_n \leq t$ 的充要条件是在时刻 $t$ 以前至少发生了 $n$ 次事件，既在时间区间 $[0, t]$ 内发生的事件数 $N(t) \geq n$，因此
\begin{equation}
P\{T_n \leq t\} = P\{N(t) \geq n\} = \sum_{j=n}^{\infty} P\{N(t) = j\}
\end{equation}
由于在 $[0, t]$ 内发生的事件数服从参数为 $\lambda t$ 的泊松分布，于是有
\begin{equation}
P\{T_n \leq t\} = \sum_{j=n}^{\infty} \frac{e^{-\lambda t}(\lambda t)^j}{j!} \tag{4}
\end{equation}
对上式求导，得到 $T_n$ 的概率密度函数如下
\begin{align}
f(t) &= \sum_{j = n}^{\infty} \frac{e^{-\lambda t} j (\lambda t)^{j – 1} \lambda}{j!} – \sum_{j=n}^{\infty} \frac{\lambda e^{-\lambda t}(\lambda t)^j}{j!} \\
&= \sum_{j = n}^{\infty} \frac{e^{-\lambda t} (\lambda t)^{j – 1} \lambda}{(j – 1)!} – \sum_{j=n}^{\infty} \frac{\lambda e^{-\lambda t}(\lambda t)^j}{j!} \\
&= \frac{\lambda e^{-\lambda t} (\lambda t)^{(n – 1)}}{(n – 1)!} \tag{5}
\end{align}
因此 $T_n$ 服从参数为 $(n, \lambda)$ 的 $\Gamma$ 分布。当 $n = 1$ 时，该分布退化为指数分布。
参数为 $\lambda = \frac{1}{2}$，$\alpha = \frac{n}{2}$（$n$ 为正整数）的 $\Gamma$ 分布称为自由度为 $n$ 的 $\chi^2$ 分布。实际中，卡方分布经常出现在误差分布中。例如在 $n$ 维空间中射击一个靶子，中弹点各坐标的的偏差相互独立且为标准正态分布，则偏差的平方和服从自由度为 $n$ 的 $\chi^2$ 分布。
随机变量 $X$ 服从参数为 $(\alpha, \lambda)$ 的 $\Gamma$ 分布，由式 $(1)$，计算其期望为
\begin{align}
E[X] &= \frac{1}{\Gamma(\alpha)} \int_0^{\infty} x \lambda e^{-\lambda x} (\lambda x)^{\alpha – 1} \mathrm{d}x = \frac{1}{\lambda \Gamma(\alpha)} \int_0^{\infty} \lambda e^{-\lambda x} (\lambda x)^{\alpha} \mathrm{d}x \\
&= \frac{\Gamma(\alpha + 1)}{\lambda \Gamma(\alpha)} = \frac{\alpha}{\lambda} \tag{6}
\end{align}
通过 $E[X^2]$ 计算其方差为
\begin{equation}
Var(X) = \frac{a}{\lambda^2} \tag{7}
\end{equation}
2. 韦布尔分布
韦布尔分布的分布函数具有如下形式
\begin{equation}
F(x) = \begin{cases}0 & x \leq \nu \\
1 – \exp\Big\{ -\Big(\frac{x – \nu}{\alpha}\Big)^\beta \Big\} & x > \nu\end{cases} \tag{8}
\end{equation}
如果一个随机变量的分布函数具有式 $(8)$ 的形式，则称其服从参数为 $\nu$，$\alpha$ 和 $\beta$ 的韦布尔分布。
对式 $(8)$ 求导得到密度函数为
\begin{equation}
f(x) = \begin{cases}0 & x \leq \nu \\
\frac{\beta}{\alpha} (\frac{x – \nu}{\alpha})^{\beta – 1} \exp\Big\{ -\Big(\frac{x – \nu}{\alpha}\Big)^\beta \Big\} & x > \nu\end{cases} \tag{9}
\end{equation}
韦布尔分布最初是在解释疲劳数据时提出的，在有关生命现象的领域有着广泛的应用。当某对象符合“最弱链”模型时，其寿命就符合韦布尔分布。例如对于一个由许多部分组成的对象，假定当它的任何一部分毁坏时此对象的寿命就终止，此时韦布尔分布为这个对象的寿命提供了一个很好的近似。
3. 柯西分布
如果一个随机变量的密度函数形如
\begin{equation}
f(x) = \frac{1}{\pi} \frac{1}{1 + (x – \theta)^2} \qquad -\infty < x < \infty \tag{10}
\end{equation}
则称该随机变量服从参数为 $\theta$（$-\infty < \theta < \infty$）的柯西分布。
4. $\beta$ 分布
如果一个随机变量的密度函数形如
\begin{equation}
f(x) = \begin{cases}\frac{1}{B(a, b)} x^{a – 1} (1 – x)^{b – 1} & 0 < x <1 \\
0 & 其他 \end{cases} \tag{11}
\end{equation}
其中 $B(a, b)$ 称为 $\beta$ 函数，定义为
\begin{equation}
B(a, b) = \int_0^1 x^{a – 1} (1 – x)^{b – 1} \mathrm{d}x \tag{12}
\end{equation}
则称该随机变量服从 $\beta$ 分布。
$\beta$ 分布通常用来为取值于某有线区间 $[c, d]$ 的随机现象建立模型。如果设 $c$ 为原点，$d – c$ 为度量单位，那么可将取值区间转化为 $[0, 1]$。
当 $a = b$ 是，$\beta$ 分布的密度函数关于 $x = \frac{1}{2}$ 对称，随着公共值 $a$ 的增大，取值于 $\frac{1}{2}$ 附近的权重会越来越大；当 $a = b = 1$ 时，$\beta$ 分布就退化成区间 $(0, 1)$ 上的均匀分布。当 $b > a$ 时，密度函数向左偏斜，即取小值的可能性更大；当 $a > b$ 时，密度函数向右偏斜。
可以证明，式 $(12)$ 所示的 $\beta$ 函数与 $\Gamma$ 函数之间存在以下关系
\begin{equation}
B(a, b) = \frac{\Gamma(a)\Gamma(b)}{\Gamma(a + b)} \tag{13}
\end{equation}
利用式 $(3)$ 和式 $(13)$，可以证明，如果 $X$ 是参数为 $a$ 和 $b$ 的 $\beta$ 随机变量，那么
\begin{equation}
E[X] = \frac{a}{a + b} \tag{14}
\end{equation}
\begin{equation}
\mathrm{Var}(x) = \frac{ab}{(a + b)^2(a + b + 1)} \tag{15}
\end{equation}