概率论 Cheat Sheet 16：联合分布函数

Author: nex3z 2019-01-17

1. 联合概率分布函数

　　为了处理两个随机变量的概率问题，定义两个随机变量 $X$ 和 $Y$ 的联合概率分布函数（Joint Cumulative Probability Distribution Function）如下

$$\begin{equation} F(a, b) = P\{X \leq a, Y \leq b\} \qquad -\infty < a, b < \infty \tag{1} \end{equation}$$

$X$ 的分布可以通过 $X$ 和 $Y$ 的联合分布得到，即

$$\begin{align} F_X(a) &= P\{X \leq a\} = P\{X \leq a, Y < \infty\} = P\big(\lim_{b \rightarrow \infty}\{X \leq a, Y \leq b\} \big) \\ &= \lim_{b \rightarrow \infty}P\{X \leq a, Y \leq b\} = \lim_{b \rightarrow \infty} F(a, b) = F(a, \infty) \end{align}$$

类似地，可得 $Y$ 的分布函数为

$$\begin{equation} F_Y(b) = P\{Y \leq b\} = \lim_{a \rightarrow \infty} F(a, b) = F(\infty, b) \end{equation}$$

分布函数 $F_X$ 和 $F_Y$ 称为 $X$ 和 $Y$ 的边缘分布（Marginal Distribution）。

　　理论上，所有关于 $X$ 和 $Y$ 的联合概率问题都可以通过其联合分布函数来解决。例如对于 $X > a$ 和 $Y > b$ 的联合概率，有

$$\begin{align} P\{X > a, Y > b\} &= 1 – P\{X > a, Y >b\}^c = 1 – P(\{X > a\}^c \textstyle\bigcup \{Y > b\}^c) \\ &= 1 – P(\{X \leq q\} \textstyle\bigcup \{Y \leq b\}) \\ &= 1 – [P\{X \leq a\} + P\{Y \leq b\} – P\{X \leq a, Y \leq b\}] \\ &= 1 – F_X(a) – F_Y(b) + F(a, b) \end{align}$$

上式实际上是以下等式的特例

$$\begin{equation} P\{a_1 < X \leq a_2, b_2 < Y \leq b_2\} = F(a_2, b_2) + F(a_1, b_1) – F(a_1, b_2) – F(a_2, b_1) \end{equation}$$

其中 $a_1 < a_2$，$b_1 < b_2$。

2. 联合概率分布列

　　当 $X$ 和 $Y$ 都是离散型随机变量时，$X$ 和 $Y$ 的联合概率分布列（Joint Probability Mass Function）定义如下

$$\begin{equation} p(x, y) = P\{X = x, Y = y\} \tag{2} \end{equation}$$

由 $p(x, y)$ 可得 $X$ 的分布列为

$$\begin{equation} p_X(x) = P\{X = x\} = \sum_{y: \; p(x, y) > 0} p(x, y) \tag{3} \end{equation}$$

类似地可得 $Y$ 的分布列为

$$\begin{equation} p_Y(y) = P\{Y = y\} = \sum_{x: \; p(x, y) > 0} p(x, y) \tag{4} \end{equation}$$

3. 联合密度函数

　　如果存在一个定义于任意实数 $x$ 和 $y$ 上的函数 $f(x, y)$，满足任意实数对集合 $C$，有

$$\begin{equation} P\{(X, Y) \in C\} = \iint\limits_{(x, y) \in C} f(x, y) \mathrm{d}x \mathrm{d}y \tag{5} \end{equation}$$

则其中 $C$ 是二维空间中的集合，则称 $X$ 和 $Y$ 是联合连续的（Jointly Continuous），函数 $f(x, y)$ 称为 $X$ 和 $Y$ 的联合密度函数（Joint Probability Density Function）。如果 $A$ 和 $B$ 为任意实数集，定义 $C = \{(x, y): x \in A, y \in B\}$，通过式 $(5)$ 可以得到

$$\begin{equation} P\{X \in A, Y \in B\} = \int_B\int_A f(x, y) \mathrm{d}x \mathrm{d}y \tag{6} \end{equation}$$

由

$$\begin{equation} F(a, b) = P\{X \in (-\infty, a), Y \in (-\infty, b)\} = \int_{-\infty}^b\int_{-\infty}^a f(x, y) \mathrm{d}x \mathrm{d}y \end{equation}$$

求导可得（如果偏导数有意义）

$$\begin{equation} f(a, b) = \frac{\partial^2}{\partial a \partial b}F(a, b) \tag{7} \end{equation}$$

　　从式 $(5)$ 可以从另一个角度理解联合密度函数，由

$$\begin{equation} P\{a < X \leq a + \mathrm{d}a, b < Y \leq b + \mathrm{d}b\} = \int_b^{b + \mathrm{d}b} \int_a^{a + \mathrm{d}a} f(x, y) \mathrm{d}x \mathrm{d}y \approx f(a, b) \mathrm{d}a \mathrm{d}b \end{equation}$$

其中 $\mathrm{d}a$ 和 $\mathrm{d}b$ 都是很小的值，且 $f(x, y)$ 在 $(a, b)$ 处连续。因此，$f(a, b)$ 表示随机向量 $(X, Y)$ 取值于 $(a, b)$ 附近的可能性的大小。

　　如果 $X$ 和 $Y$ 是联合连续的，那么它们各自都连续。它们各自的密度函数可以如下得到

$$\begin{equation} P\{X \in A\} = P\{X \in A, Y \in (-\infty, \infty)\} = \int_A \int_{-\infty}^{\infty}f(x, y) \mathrm{d}y \mathrm{d}x = \int_A f_X(x) \mathrm{d}x \end{equation}$$

其中

$$\begin{equation} f_X(x) = \int_{-\infty}^{\infty}f(x, y) \mathrm{d}y \tag{8} \end{equation}$$

为 $X$ 的概率密度。类似地，$Y$ 的概率密度为

$$\begin{equation} f_Y(y) = \int_{-\infty}^{\infty}f(x, y) \mathrm{d}x \tag{9} \end{equation}$$

4. 多项分布

　　进行 $n$ 次独立重复试验，每次试验有 $r$ 种可能的结果，每种结果发生的概率为 $p_1, p_2, \cdots, p_r$，$\sum_{i=1}^r p_i = 1$。若令 $X_i$ 表示 $n$ 次试验中第 $i$ 个结果出现的次数，那么

$$\begin{equation} P\{X_1 = n_1, X_2 = n_2, \cdots, X_r = n_r\} = \frac{n!}{n_1! n_2! \cdots n_r!} p_1^{n_1} p_2^{n_2} \cdots p_r^{n_r} \tag{10} \end{equation}$$

其中 $\sum\limits_{i=1}^r n_i = n$。

　　以式 $(10)$ 为联合密度函数的联合分布称为多项分布（Multinomial Distribution）。当 $r = 2$ 时，多项分布就退化为二项分布。

　　在多项分布中，对于任意一组固定的集合，$X_i$ 之和都服从二项分布。对于 $N \subset \{1, 2, \cdots, r\}$，$\sum\limits_{i \in N}X_i$ 表示 $n$ 次试验中试验结果取在 $N$ 中，因为每次试验都是独立的，所以其概率为 $\sum\limits_{i \in N}p_i$。于是 $\sum\limits_{i \in N}X_i$ 服从参数为 $n$ 和 $p = \sum\limits_{i \in N}p_i$ 的二项分布。