概率论 Cheat Sheet 17：独立随机变量
1. 独立随机变量
对于随机变量 $X$ 和 $Y$，如果对任意两个实数集 $A$ 和 $B$，有
\begin{equation}
P\{X \in A, Y \in B\} = P\{X \in A\} P\{Y \in B\} \tag{1}
\end{equation}
则称 $X$ 和 $Y$ 是独立的（Indenpendent）。也就是说，如果对所有的 $A$ 和 $B$，事件 $E_A = \{X \in A\}$ 和 $E_B = \{X \in B\}$ 是独立的，那么随机变量 $X$ 和 $Y$ 独立。
有概率的三条公理可知，式 $(1)$ 成立当且仅当对所有 $a, b$，有
\begin{equation}
P\{X \leq a, Y \leq b\} = P\{X \leq a\} P\{Y \leq b\}
\end{equation}
由此，利用 $X$ 和 $Y$ 的联合分布函数 $F$ 可知，如果
\begin{equation}
F(a, b) = F_X(a) F_Y(b) \qquad 对所有的 \; a, b \; 成立 \tag{2}
\end{equation}
则 $X$ 和 $Y$ 独立。当 $X$ 和 $Y$ 是离散型随机变量时，独立性条件 $(1)$ 等价于
\begin{equation}
p(x, y) = p_X(x) p_Y(y) \qquad 对所有的 \; x, y \tag{3}
\end{equation}
上述结论成立的原因是，如果式 $(1)$ 成立，令 $A$ 和 $B$ 分别表示单点集 $A = \{x\}$ 和 $B = \{y\}$，则可得式 $(3)$。反之，如果式 $(3)$ 成立，那么对任意集合 $A, B$，有
\begin{align}
P\{X \in A, Y \in B\} &= \sum_{y \in B} \sum_{x \in A} p(x, y) = \sum_{y \in B} \sum_{x \in A} p_X(x) p_Y(y) \\
&= \sum_{y \in B} p_Y(y) \sum_{x \in A} p_X(x) = P\{Y \in B\} P\{X \in A\}
\end{align}
于是式 $(1)$ 成立。
在 $X$ 和 $Y$ 联合连续的情况下，独立性条件等价于
\begin{equation}
f(x, y) = f_X(x) f_Y(y) 对所有的 \; x, y \tag{4}
\end{equation}
因此，如果知道其中一个变量的取值并不影响另一个变量的分布，则这两个变量就相互独立。不独立的随机变量称为是相依的（Denpendent）。
$X$ 和 $Y$ 相互独立的一个充分必要条件是：联合密度函数（离散情况下为联合分布列）$f(x, y)$ 可以分解成两部分，其中一部分仅与 $x$ 有关，另一部分仅与 $y$ 有关。
命题 连续性（离散型）随机变量 $X$ 和 $Y$ 相互独立，当且仅当其联合密度函数（联合分布列）可以写成
\begin{equation}
f_{X, Y}(x, y) = h(x)g(y) \qquad -\infty < x < \infty, -\infty < y < \infty \tag{5}
\end{equation}
$X$ 和 $Y$ 相互独立意味着 $X$ 和 $Y$ 的联合密度函数等于各自边缘密度函数的乘积，此时式 $(5)$ 成立。另一方面，假定式 $(5)$ 成立，则有
\begin{equation}
1 = \int_{-\infty}^{\infty}\int_{-\infty}^{\infty} f_{X, Y}(x, y) \mathrm{d}x \mathrm{d}y = \int_{-\infty}^{\infty} h(x) \mathrm{d}x \int_{-\infty}^{\infty} g(y) \mathrm{d}y = C_1 C_2
\end{equation}
其中 $C_1 = \int_{-\infty}^{\infty} h(x) \mathrm{d}x$，$C_2 = \int_{-\infty}^{\infty} g(y) \mathrm{d}y$。另外由前文 式 $(8)$、$(9)$，有
\begin{equation}
f_X(x) = \int_{-\infty}^{\infty} f_{X, Y}(x, y) \mathrm{d}y = h(x) \int_{-\infty}^{\infty} g(y) \mathrm{d}y = C_2 h(x)
\end{equation}
\begin{equation}
f_Y(y) = \int_{-\infty}^{\infty} f_{X, Y}(x, y) \mathrm{d}x = g(y) \int_{-\infty}^{\infty} h(x) \mathrm{d}x = C_1 g(y)
\end{equation}
又由 $C_1 C_2 = 1$，可得
\begin{equation}
f_{X, Y}(x, y) = f_X(x) f_Y(y)
\end{equation}
即 $X$ 和 $Y$ 相互独立。
2. 独立随机变量的和
当随机变量 $X$ 和 $Y$ 相互独立时，可以利用 $X$ 和 $Y$ 的分布来计算 $X + Y$ 的分布。假设 $X$ 和 $Y$ 是相互独立的连续型随机变量，其密度函数分别为 $f_X$ 和 $f_Y$，那么 $X + Y$ 的累积分布函数为
\begin{align}
F_{X + Y}(a) &= P\{X + Y \leq a\} = \iint\limits_{x + y \leq a} f_X(x) f_Y(y) \mathrm{d}x \mathrm{d}y = \int_{-\infty}^{\infty} \int_{-\infty}^{a – y} f_X(x) f_Y(y) \mathrm{d}x \mathrm{d}y \\
& = \int_{-\infty}^{\infty} \int_{-\infty}^{a – y} f_X(x) \mathrm{d}x f_Y(y) \mathrm{d}y = \int_{-\infty}^{\infty} F_X(a – y) f_Y(y) \mathrm{d}y \tag{6}
\end{align}
分布函数 $F_{X + Y}$ 称为分布函数 $F_X$ 和 $F_Y$ 的卷积（Convolution），其中 $F_X$ 和 $F_Y$ 分别为 $X$ 和 $Y$ 的分布函数。
对式 $(1)$ 求导，可得 $X + Y$ 的密度函数
\begin{equation}
f_{X + Y} = \frac{\mathrm{d}}{\mathrm{d}a} \int_{-\infty}^{\infty} F_X(a – y) f_Y(y) \mathrm{d}y = \int_{-\infty}^{\infty} \frac{\mathrm{d}}{\mathrm{d}a} F_X(a – y) f_Y(y) \mathrm{d}y = \int_{-\infty}^{\infty} f_X(a – y) f_Y(y) \mathrm{d}y \tag{7}
\end{equation}
2.1. 独立同分布均匀随机变量
设 $X$ 和 $Y$ 为独立随机变量，都服从 $(0, 1)$ 上的均匀分布，则有
\begin{equation}
f_X(a) = f_Y(a) = \begin{cases}1 & 0 < a < 1 \\
0 & 其他\end{cases}
\end{equation}
由式 $(7)$，可得
\begin{equation}
f_{X + Y}(a) = \int_0^1 f_X(a – y) \mathrm{d}y
\end{equation}
当 $0 < a – y < 1$ 时，$f_X(a – y)$ 取值 $1$，此时 $a – 1 < y < a$。当 $a – 1 \leq 0$ 且 $a \geq 0$ 时，有 $0 \leq a \leq 1$，此时
\begin{equation}
f_{X + Y}(a) = \int_0^a \mathrm{d}y = a
\end{equation}
当 $a – 1 < 1$ 且 $a > 1$ 时，有 $1 \leq a \leq 2$，此时
\begin{equation}
f_{X + Y}(a) = \int_{a – 1}^1 \mathrm{d}y = 2 – a
\end{equation}
于是得到
\begin{equation}
f_{X + Y}(a) = \begin{cases}a & 0 \leq a \leq 1 \\
2 – a & 1 < a < 2 \\
0 & 其他\end{cases} \tag{8}
\end{equation}
%X + Y% 的密函函数形状是一个底边在 $x$ 轴上的等腰三角形，故随机变量 $X + Y$ 的分布又称为三角（Triangular）分布。
假设 $X_1, X_2, \cdots, X_n$ 是独立的 $(0, 1)$ 均匀随机变量，设
\begin{equation}
F_n(x) = P\{X_1 + \cdots + X_n \leq x\}
\end{equation}
当 $x \leq 1$ 时，可以用过数学归纳法证明
\begin{equation}
F_n(x) = \frac{x^n}{n!} \qquad 0 \leq x \leq 1
\end{equation}
2.2. $\Gamma$ 随机变量
$\Gamma$ 随机变量的密度函数为
\begin{equation}
f(y) = \frac{\lambda e^{-\lambda y} (\lambda y)^{t – 1}}{\Gamma(t)} \qquad 0 < y < \infty
\end{equation}
该分布的一个重要性质是，对固定的 $\lambda$，它在卷积意义下是封闭的。
命题 如果 $X$ 和 $Y$ 为独立的 $\Gamma$ 随机变量，参数分别为 $(s, \lambda)$ 和 $(t, \lambda)$，那么 $X + Y$ 也为 $\Gamma$ 随机变量，参数为 $(s + t, \lambda)$。
根据上述命题，通过数学归纳法可以得出，如果 $X_i$（$i = 1, \cdots, n$）为独立 $\Gamma$ 随机变量，且参数分别为 $t_i, \lambda$（$i = 1, \cdots, n$），那么 $\sum\limits_{i = 1}^n X_i$ 是参数为 $\big(\sum\limits_{i = 1}^n t_i, \lambda\big)$ 的 $\Gamma$ 随机变量。
如果 $X_1, X_2, \cdots, X_n$ 是 $n$ 个独立同分布的参数为 $\lambda$ 的指数随机变量，由于参数为 $\lambda$ 的指数随机变量是参数为 $(1, \lambda)$ 的 $\Gamma$ 随机变量，由上述命题，可知 $X_1, X_2, \cdots, X_n$ 是参数为 $(n, \lambda)$ 的 $\Gamma$ 随机变量。
如果 $Z_1, Z_2, \cdots, Z_n$ 是 $n$ 个相互独立的标准正态随机变量，那么称 $Y \equiv \sum\limits_{i = 1}^n Z_i^2$ 是服从自由度为 $n$ 的卡方（$\chi^2$）分布的随机变量。每个 $Z_i$ 都服从 $\Gamma(\frac{1}{2}, \frac{1}{2})$，由上述命题，可知自由度为 $n$ 的卡方分布就是参数为 $(\frac{n}{2}, \frac{1}{2})$ 的 $\Gamma$ 分布。
2.3. 正态随机变量
命题 若 $X_i$（$i = 1, \cdots, n$）是 $n$ 个相互独立的随机变量，且服从参数为 $(\mu_i, \sigma_i)$ 的正态分布，则 $\sum\limits_{i = 1}^n X_i$ 也服从正态分布，参数为 $(\sum\limits_{i = 1}^n \mu_i, \sum\limits_{i = 1}^n \sigma_i^2)$。
如果 $\ln(Y)$ 为参数为 $(\mu, \sigma^2)$ 的正态随机变量，那么称 $Y$ 是参数为 $(\mu, \sigma)$ 的对数正态（Lognormal）随机变量。即如果 $Y$ 能表示为 $Y = e^{X}$，其中 $X$ 为一正态随机变量，那么 $Y$ 为对数随机变量。
2.4. 泊松随机变量和二项随机变量
独立泊松随机变量的和 设 $X$ 和 $Y$ 为独立泊松随机变量，参数分别为 $\lambda_1$ 和 $\lambda_2$，则事件 $\{X + Y = n\}$ 可以写成互不相容事件 $\{X = k, Y = n – k\}$（$0\ leq k \leq n$）的并，故
\begin{align}
P\{X + Y = n\} &= \sum_{k = 0}^n P\{X = k, Y = n – k\} = \sum_{k = 0}^n P\{X = k\}P\{Y = n – k\} \\
&= \sum_{k = 0}^n e^{-\lambda_1} \frac{\lambda_1^k}{k!} \cdot e^{-\lambda_2} \frac{\lambda_2^{n – k}}{(n – k)!} = e^{-(\lambda_1 + \lambda_2)} \sum_{k = 0}^n \frac{\lambda_1^k \lambda_2^{n – k})}{k!(n – k)!} \\
&= \frac{e^{-(\lambda_1 + \lambda_2)}}{n!} \sum_{k = 0}^n \frac{n!}{k!(n – k)!} \lambda_1^k \lambda_2^{n – k} \qquad 由二项式定理\\
&= \frac{e^{-(\lambda_1 + \lambda_2)}}{n!} (\lambda_1 + \lambda_2)^n
\end{align}
即 $X + Y$ 服从参数为 $\lambda_1 + \lambda_2$ 的泊松分布。
独立二项随机变量的和 设 $X$ 和 $Y$ 为独立二项随机变量，参数分别为 $(n, p)$ 和 $(m, p)$，则 $X + Y$ 表示在 $n + m$ 次独立重复试验中成功的次数（每次成功的概率为 $p$），故 $X + Y$ 是服从参数为 $(n + m, p)$ 的二项分布。令 $q = i – p$，有
\begin{align}
P\{X + Y = k\} &= \sum_{i = 0}^n P\{X = i, Y = k – i\} = \sum_{i = 0}^n P\{X = i\} P\{Y = k – i\} \\
&= \sum_{i = 0}^n \binom{n}{i} p^i q^{n – i} \binom{m}{k – i} p^{k – i} q^{m – k + i}
\end{align}
当 $j < 0$ 时，$\binom{n}{j} = 0$，因此
\begin{equation}
P\{X + Y = k\} = p^k q^{n + m – k} \sum_{i = 0}^n \binom{n}{i} \binom{m}{k – i} = p^k q^{n + m – k} \binom{n + m}{k}
\end{equation}
可见 $X + Y$ 是服从参数为 $(n + m, p)$ 的二项分布。