概率论 Cheat Sheet 3：多维随机变量及其分布（3）
Contents
4. 相互独立的随机变量
定义 设 $F(x, y)$ 及 $F_X(x), F_Y(y)$ 分别是二维随机变量 $(X, Y)$ 的分布函数及边缘分布函数。若对于所有 $x, y$ 有
\begin{equation}
P\{X \leq x, Y \leq y\} = P\{X \leq x\} P\{Y \leq y\} \tag{4.1}
\end{equation}
即
\begin{equation}
F(x, y) = F_X(x)F_Y(y) \tag{4.2}
\end{equation}
则称随机变量 $X$ 和 $Y$ 是相互独立的。
设 $(X, Y)$ 是连续型随机变量， $f(x, y), f_X(x), f_Y(y)$ 分别是 $(X, Y)$ 的概率密度和边缘概率密度，则 $X$ 和 $Y$ 相互独立的条件 $(4.2)$ 等价于：等式
\begin{equation}
f(x, y) = f_X(x)f_Y(y) \tag{4.3}
\end{equation}
在平面上几乎处处成立（此处“几乎处处成立”的含义是：在平面上除去“面积”为零的集合以外，处处成立）。
当 $(X, Y)$ 是离散型随机变量时，$X$ 和 $Y$ 相互独立的条件 $(4.2)$ 式等价于：对于 $(X, Y)$ 的所有可能取的值 $(x_i, y_i)$ 有
\begin{equation}
P\{X = x_i, Y = y_i\} = P\{X = x_i\}P\{Y = y_i\} \tag{4.4}
\end{equation}
在实际中使用 $(4.3)$ 式或 $(4.4)$ 式要比使用 $(4.2)$ 式方便。
考察二维正态随机变量 $(X, Y)$。它的概率密度为
\begin{equation}
f(x, y) = \frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}} exp \big\{ \frac{-1}{2(1-\rho^2)} \big[ \frac{(x – \mu_1)^2}{\sigma_1^2} – 2\rho\frac{(x – \mu_1)(y – \mu_2)}{\sigma_1\sigma_2} + \frac{(y – \mu_2)^2}{\sigma_2^2} \big] \big\}
\end{equation}
由前文 知道，其边缘概率密度 $f_X(x), f_Y(y)$ 的乘积为
\begin{equation}
f_X(x)f_Y(y) = \frac{1}{2\pi\sigma_1\sigma_2} exp \big\{ -\frac{1}{2} \big[ \frac{(x – \mu_1)^2}{\sigma_1^2} + \frac{(y – \mu_2)^2}{\sigma_2^2} \big] \big\}
\end{equation}
因此，如果 $\rho = 0$，则对于所有 $x, y$ 有 $f(x, y) = f_X(x)f_Y(y)$，即 $X$ 和 $Y$ 相互独立。反之，如果 $X$ 和 $Y$ 相互独立，由于 $f(x, y), f_X(x), f_Y(y)$ 都是连续函数，故对于所有的 $x, y$ 有 $f(x, y) = f_X(x)f_Y(y)$。特别，零 $x = \mu_1, y = \mu_2$，自这一等式得到
\begin{equation}
\frac{1}{2\pi\sigma_1\sigma_2\sqrt{1 – \rho^2}} = \frac{1}{2\pi\sigma_1\sigma_2}
\end{equation}
从而 $\rho = 0$。综上所述，得到以下的结论：
对于二维正态随机变量 $(X, Y)$，$X$ 和 $Y$ 相互独立的充要条件是参数 $\rho = 0$。
以上所述关于二维随机变量的一些概念，容易推广到 $n$ 维随机变量的情况。$n$ 维随机变量 $(X_1, X_2, \cdots, X_n)$ 的分布函数定义为
\begin{equation}
F(x_1, x_2, \cdots, x_n) = P\{X_1 \leq x_1, X_2 \leq x_2, \cdots, X_n \leq x_n\}
\end{equation}
其中 $x_1, x_2, \cdots, x_n$ 为任意实数。
若存在非负可积函数 $f(x_1, x_2, \cdots, x_n)$，使对于任意实数 $x_1, x_2, \cdots, x_n$ 有
\begin{equation}
F(x_1, x_2, \cdots, x_n) = \int_{-\infty}^{x_n}\int_{-\infty}^{x_{n-1}} \cdots \int_{-\infty}^{x_1} f(x_1, x_2, \cdots, x_n)dx_1dx_2 \cdots dx_n
\end{equation}
则称 $f(x_1, x_2, \cdots, x_n)$ 为 $(X_1, X_2, \cdots, X_n)$ 的概率密度函数。
设 $(X_1, X_2, \cdots, X_n)$ 的分布函数 $F(x_1, x_2, \cdots, x_n)$ 为已知，则 $(X_1, X_2, \cdots, X_n)$ 的 $k (1 \leq k < n)$ 维边缘分布函数就随之确定，例如 $(X_1, X_2, \cdots, X_n)$ 关于 $X_1$、关于 $(X_1, X_2)$ 的边缘分布函数分别为
\begin{equation}
F_{X_1}(x_1) = F(x_1, \infty, \infty, \cdots, \infty) \\
F_{X_1, X_2}(x_1, x_2) = F(x_1, x_2, \infty, \infty, \cdots, \infty)
\end{equation}
又若 $f(x_1, x_2, \cdots, x_n)$ 是 $(X_1, X_2, \cdots, X_n)$ 的概率密度，则 $(X_1, X_2, \cdots, X_n)$ 关于 $X_1$、关于 $(X_1, X_2)$ 的边缘概率密度分别为
\begin{equation}
f_{X_1}(x_1) = \int_{-\infty}^{\infty}\int_{-\infty}^{\infty}\cdots\int_{-\infty}^{\infty}f(x_1, x_2, \cdots, x_n)dx_2 dx_3 \cdots dx_n \\
f_{X_1, X_2}(x_1, x_2) = \int_{-\infty}^{\infty}\int_{-\infty}^{\infty}\cdots\int_{-\infty}^{\infty}f(x_1, x_2, \cdots, x_n) dx_3 dx_4 \cdots dx_n
\end{equation}
若对于所有的 $x_1, x_2, \cdots, x_m; y_1, y_2, \cdots, y_n$ 有
\begin{equation}
F(x_1, x_2, \cdots, x_m, y_1, y_2, \cdots, y_n) = F_1(x_1, x_2, \cdots, x_m)F_2(y_1, y_2, \cdots, y_n)
\end{equation}
其中 $F_1, F_2, F$ 依次为随机变量 $(X_1, X_2, \cdots, X_m)$，$(Y_1, Y_2, \cdots, Y_n)$ 和 $(X_1, X_2, \cdots, X_m, Y_1, Y_2, \cdots, Y_n)$ 的分布函数，则称随机变量 $(X_1, X_2, \cdots, X_m)$ 和 $(Y_1, Y_2, \cdots, Y_n)$ 是相互独立的。
有以下的定理，它在数理统计中是很有用的。
定理 设 $(X_1, X_2, \cdots, X_m)$ 和 $(Y_1, Y_2, \cdots, Y_n)$ 相互独立，则 $X_i(i = 1, 2, \cdots, m)$ 和 $Y_j(j = 1, 2, \cdots, m)$ 相互独立。又若 $h$，$g$ 是连续函数，则 $h(X_1, X_2, \cdots, X_m)$ 和 $g(Y_1, Y_2, \cdots, Y_m)$ 相互独立。
5. 两个随机变量的函数的分布
5.1. $Z = X + Y$ 的分布
设 $(X, Y)$ 是二维连续型随机变量，它具有概率密度 $f(x, y)$，则 $Z = X + Y$ 仍未连续型随机变量，其概率密度为
\begin{equation}
f_{X+Y}(z) = \int_{-\infty}^{\infty} f(z – y, y)dy \tag{5.1}
\end{equation}
或
\begin{equation}
f_{X+Y}(z) = \int_{-\infty}^{\infty} f(x, z – x)dx \tag{5.2}
\end{equation}
又若 $X$ 和 $Y$ 相互独立，设 $(X, Y)$ 关于 $X, Y$ 的边缘密度分别为 $f_X(x), f_Y(y)$，则 $(5.1)$，$(5.2)$ 分别化为
\begin{equation}
f_{X+Y}(z) = \int_{-\infty}^{\infty} f_X(z – y)f_Y(y)dy \tag{5.3}
\end{equation}
和
\begin{equation}
f_{X+Y}(z) = \int_{-\infty}^{\infty} f_X(x)f_Y(z – x)dx \tag{5.4}
\end{equation}
这两个公式称为 $f_X$ 和 $f_Y$ 的卷积公式，记为 $f_X * f_Y$，即
\begin{equation}
f_X * f_Y = \int_{-\infty}^{\infty} f_X(z – y)f_Y(y)dy = \int_{-\infty}^{\infty} f_X(x)f_Y(z – x)dx
\end{equation}
一般，设 $X, Y$ 相互独立且 $X \sim N(\mu_1, \sigma_1^2)$，$T \sim N(\mu_2, \sigma_2^2)$。由 $(5.4)$ 式经过计算知 $Z = X + Y$ 仍然服从正态分布，且有 $Z \sim N(\mu_1 + \mu_2, \sigma_1^2 + \sigma_2^2)$。这个结论还能推广到 $n$ 个独立正态随机变量之和的情况。即若 $X_i \sim N(\mu_i, \sigma_i^2) (i = 1, 2, \cdots, n)$，且它们相互独立，则它们的和 $Z = X_1 + X_2 + \cdots + X_n$ 仍然服从正态分布，且有 $Z \sim N(\mu_1 + \mu_2 + \cdots + \mu_n, \sigma_1^2 + \sigma_2^2 + \cdots + \sigma_n^2)$。
更一般地，可以证明有限个相互独立的正态随机变量的线性组合任然服从正态分布。
5.2. $Z = \frac{X}{Y}$ 的分布、$Z = XY$ 的分布
设 $(X, Y)$ 是二维连续型随机变量，它具有概率密度 $f(x, y)$，则 $Z = \frac{X}{Y}$、$Z = XY$ 仍未连续型随机变量，其概率密度分别为
\begin{equation}
f_{Y/X}(z) = \int_{-\infty}^{\infty} |x| f(x, xz)dx \tag{5.7}
\end{equation}
\begin{equation}
f_{XY}(z) = \int_{-\infty}^{\infty} |x| f(x, \frac{z}{x})dx \tag{5.8}
\end{equation}
又若 $X$ 和 $Y$ 相互独立，设 $(X, Y)$ 关于 $X, Y$ 的边缘密度分别为 $f_X(x), f_Y(y)$，则 $(5.7)$ 式化为
\begin{equation}
f_{Y/X}(z) = \int_{-\infty}^{\infty} |x| f_X(x)f_Y(xz)dx \tag{5.9}
\end{equation}
而 $(5.8)$ 式化为
\begin{equation}
f_{XY}(z) = \int_{-\infty}^{\infty} |x| f_X(x)f_Y(\frac{z}{x})dx \tag{5.10}
\end{equation}
5.3. $M = max\{X, Y\}$ 及 $N = min\{X, Y\}$ 的分布
设 $X, Y$ 是两个相互独立的随机变量，它们的分布函数分别为 $F_X(x)$ 和 $F_Y(y)$。现在来求 $M = max\{X, Y\}$ 及 $N = min\{X, Y\}$ 的分布函数。
由于 $M = max\{X, Y\}$ 不大于 $z$ 等价于 $X$ 和 $Y$ 都不大于 $z$，故有
\begin{equation}
P\{M \leq z\} = P\{X \leq z, Y \leq z\}
\end{equation}
又由于 $X$ 和 $Y$ 相互独立，得到 $M = max\{X, Y\}$ 的分布函数为
\begin{equation}
F_{max}(z) = P\{M < \leq z\} = P\{X \leq z, Y \leq z\} = P\{X \leq z\}P\{Y \leq z\}
\end{equation}
即有
\begin{equation}
F_{max}(z) = F_X(z)F_Y(z) \tag{5.11}
\end{equation}
类似地，可得 $N = min\{X, Y\}$ 的分布函数为
\begin{align}
F_{min}(z) &= P\{N \leq \leq z\} = 1 – P\{N > z\} \\
& = 1 – P\{X > z, Y > z\} = 1 – P\{X > z\} \cdot P\{Y > z\}
\end{align}
即
\begin{equation}
F_{min}(z) = 1 – [1 – F_X(z)][1 – F_Y(z)] \tag{5.12}
\end{equation}
以上结果容易推广到 $n$ 个相互独立的随机变量的情况。设 $X_1, X_2, \cdots, X_n$ 是 $n$ 个相互独立的随机变量。它们的分布函数分别为 $F_{X_i}(x_i)(i = 1,2,\cdots,n)$，则 $M = max\{X_1, X_2, \cdots, X_n\}$ 及 $N = min\{X_1, X_2, \cdots, X_n\}$ 的分布函数分别为
\begin{equation}
F_{max}(z) = F_{X_1}(z)F_{X_2}(z) \cdots F_{X_n}(z) \tag{5.13}
\end{equation}
\begin{equation}
F_{min}(z) = 1 – [1 – F_{X_1}(z)][1 – F_{X_2}(z)]\cdots[1 – F_{X_n}(z)] \tag{5.14}
\end{equation}
特别，当 $X_1, X_2, \cdots, X_n$ 相互独立且具有相同分布函数 $F(x)$ 时有
\begin{equation}
F_{max}(z) = \big[F(z)\big]^n \tag{5.15}
\end{equation}
\begin{equation}
F_{min}(z) = 1 – \big[1 – F(z)\big]^n \tag{5.16}
\end{equation}