[DL Note] 概率论：常用概率分布
1. 伯努利分布
对于结果只有成功或失败的试验，令
\begin{equation}
X= \begin{cases}
1 & 当试验结果为成功时 \\
0 & 当试验结果为失败时
\end{cases}
\end{equation}
则 $X$ 的分布列为
\begin{align}
&p(0) = P\{X = 0\} = 1 – p \\
&p(1) = P\{X = 1\} = p \tag{1}
\end{align}
其中 $p$（$0 \leq p \leq 1$）是每次试验成功的概率。
如果随机变量 $X$ 的分布列由式 $(1)$ 给出，其中 $p \in (0, 1)$，则称 $X$ 为伯努利（Bernoulli）随机变量，有
\begin{equation}
\mathrm{E}(X) = p
\end{equation}
\begin{equation}
\mathrm{Var}(X) = p(1 – p)
\end{equation}
2. 二项分布
假设进行 $n$ 次独立重复试验，每次试验成功的概率为 $p$，失败的概率为 $1 – p$，如果 $X$ 表示 $n$ 次试验中成功的次数，则 $X$ 称为参数是 $(n, p)$ 的二项（Binomial）随机变量。伯努利随机变量可以看成是参数为 $(1, p)$ 的二项随机变量。
参数为 $(n, p)$ 的二项随机变量的分布列为
\begin{equation}
p(i) = \binom{n}{i} p^i (1 – p)^{n – i} \qquad i = 0, 1, \cdots, n \tag{2}
\end{equation}
且有
\begin{equation}
\mathrm{E}(X) = np
\end{equation}
\begin{equation}
\mathrm{Var}(X) = np(1-p)
\end{equation}
3. 范畴分布
Multinoulli 分布或范畴（categorical）分布指的是具有 $k$ 个不同状态的单个离散型随机变量的分布，其中 $k$ 是有限值，前 $k – 1$ 个状态的概率由向量 $\boldsymbol p \in [0, 1]^{k-1}$ 参数化，每一个分量 $p_i$ 表示第 $i$ 个状态的概率；最后一个状态的概率 $p_k = 1 – \boldsymbol 1^\mathsf{T} \boldsymbol p$。
范畴分布常用来表示分类的分布，适合对状态可枚举的离散型随机变量进行建模。
4. 正态分布
正态（normal）分布或高斯（Gaussian）分布随机变量的概率密度函数为
\begin{equation}
f(x) = \sqrt{\frac{1}{2\pi\sigma^2}} \mathrm{e}^{-\frac{1}{2\sigma^2}(x – \mu)^2} \qquad -\infty < x < \infty \tag{3}
\end{equation}
该密度函数是一条关于 $\mu$ 对称的钟形曲线，宽度受 $\sigma$ 控制。
式 $(3)$ 需要计算 $\sigma$ 平方的倒数，比较麻烦，一种更高效的参数化方法是使用方差的倒数 $\beta = \frac{1}{\sigma^2}$ 来控制分布的精度，其中 $\beta \in (0, \infty)$。此时式 $(3)$ 变为
\begin{equation}
f(x) = \sqrt{\frac{\beta}{2\pi}} \mathrm{e}^{-\frac{1}{2}\beta(x – \mu)^2} \qquad -\infty < x < \infty \tag{3}
\end{equation}
5. 指数分布
指数（exponential）分布随机变量的概率密度函数为
\begin{equation}
f(x) =\begin{cases} \lambda e^{-\lambda x} & 当 \; x \geq 0 \\
0 & 当 \; x < 0\end{cases} \tag{4}
\end{equation}
其中 $\lambda > 0$。
指数随机变量的分布函数 $F(a)$ 为
\begin{equation}
F(a) = P\{X \leq a\} = \int_0^a \lambda e^{-\lambda x} \mathrm{d}x = -e^{-\lambda x} \big\vert_0^a = 1 – e^{-\lambda a} \qquad a \geq 0 \tag{2}
\end{equation}
均值和方差为
\begin{equation}
\mathrm{E}[X] = \frac{1}{\lambda}
\end{equation}
\begin{equation}
\mathrm{Var}(x) = \frac{1}{\lambda^2}
\end{equation}
实践中，指数分布常用来描述某个时间发生的等待时间的分布，例如从现在开始地震发生的时间间隔、从现在开始接到下一个误拨电话的时间间隔等。
6. 狄拉克分布
狄拉克（Dirac）分布随机变量的概率密度函数为
\begin{equation}
f(x) = \delta(x – \mu) \tag{5}
\end{equation}
其中 $\delta$ 函数的定义为在 $0$ 以外的所有点的值都为 $0$，且积分为 $1$。$\delta$ 函数是根据积分性质定义的数学对象，是一个广义函数。式 $(5)$ 中通过把 $\delta$ 函数右移 $\mu$ 个单位，得到一个在 $x = \mu$ 处无限窄且无限高的峰值。
狄拉克分布经常用于构成经验（empirical）分布
\begin{equation}
\hat p{\boldsymbol x} = \frac{1}{m} \sum_{i=1}^m \delta (\boldsymbol x – \boldsymbol x^{(i)}) \tag{6}
\end{equation}
式 $(6)$ 为 $\boldsymbol x^{(1)}$ 到 $\boldsymbol x^{(m)}$ 这 $m$ 个点设置了 $1/m$ 的概率质量。