概率论 Cheat Sheet 18：条件分布

Author: nex3z 2019-01-19

1. 离散情形下的条件分布

　　对于两个事件 $E$ 和 $F$，给定 $F$ 发生的条件下 $E$ 的条件概率为（假设 $P(F) > 0$）

$$\begin{equation} P(E|F) = \frac{P(EF)}{P(F)} \end{equation}$$

如果 $X$ 和 $Y$ 都是离散型随机变量，那么在已知 $Y = y$ 的条件下，定义 $X$ 的分布列如下：对于所有满足 $p_Y(y) > 0$ 的 $y$，均有

$$\begin{equation} p_{X|Y}(x|y) = P\{X = x | Y = y\} = \frac{P\{X = x, Y = y\}}{P\{Y = y\}} = \frac{p(x, y)}{p_Y(y)} \tag{1} \end{equation}$$

类似地，也可以定义在已知 $Y = y$ 的条件下 $X$ 的条件分布函数，对所有满足 $p_Y(y) > 0$ 的 $y$，有

$$\begin{equation} F_{X|Y}(x|y) = P\{X \leq x | Y = y\} = \sum_{a \leq x} p_{X|Y}(a|y) \tag{2} \end{equation}$$

条件分布与普通分布在概念上是完全一样的，所涉及的事件都是在 $Y = y$ 的条件下的事件。如果 $X$ 和 $Y$ 独立，那么

$$\begin{equation} p_{X|Y}(x|y) = P\{X = x | Y = y\} = \frac{P\{X = x, Y = y\}}{P\{Y = y\}} = \frac{P\{X = x\} P\{Y = y\}}{P\{Y = y\}} = P\{X = x\} \tag{3} \end{equation}$$

即如果 $X$ 和 $Y$ 独立，那么条件分布列和条件分布函数和通常的分布列和分布函数是一样的。

2. 连续情形下的条件分布

　　如果 $X$ 和 $Y$ 具有联合密度函数 $f(x, y)$，那么在给定 $Y = y$ 的条件下，$X$ 的条件密度函数定义为：对于任意满足 $f_Y(y) > 0$ 的 $y$ 值，有

$$\begin{equation} f_{X|Y}(x|y) = \frac{f(x, y)}{f_Y(y)} \tag{4} \end{equation}$$

在上式左边乘以 $\mathrm{d}x$，右边乘以 $\frac{\mathrm{d}x \mathrm{d}y}{\mathrm{d}y}$，得

$$\begin{align} f_{X|Y}(x|y) \mathrm{d}x &= \frac{f(x, y) \mathrm{d}x \mathrm{d}y}{f_Y(y) \mathrm{d}y} \\ & \approx \frac{P\{x \leq X \leq x + \mathrm{d}x, y \leq Y \leq y + \mathrm{d}y\}}{P\{y \leq Y \leq y + \mathrm{d}y\}} \\ &= P\{x \leq X \leq x + \mathrm{d}x | y \leq Y \leq y + \mathrm{d}y\} \end{align}$$

对于很小的 $\mathrm{d}x$ 和 $\mathrm{d}y$，$f_{X|Y}(x|y) \mathrm{d}x$ 表示在 $Y$ 取值为 $y$ 和 $y + \mathrm{d}y$ 之间的条件下，$X$ 取值于 $x$ 和 $x + \mathrm{d}x$ 之间的条件概率。

　　条件密度还可以定义为已知一个随机变量的取值的条件下，关于另一个随机变量的事件地条件概率。即如果 $X$ 和 $Y$ 联合连续，那么对于任一集合 $A$，有

$$\begin{equation} P\{X \in A | Y = y\} = \int_A f(X|Y)(x|y) \mathrm{d}x \end{equation}$$

特别地，令 $A = (-\infty, a)$，那么已知 $Y = y$ 的条件下 $X$ 的条件分布函数为

$$\begin{equation} F_{X|Y}(a|y) = P\{X \leq a | Y = y\} = \int_{-\infty}^a f(X|Y)(x|y) \mathrm{d}x \tag{5} \end{equation}$$

在上述定义中，即使条件事件 $\{Y = y\}$ 的概率为 $0$，相应条件概率也有明确的含义。

　　如果 $X$ 和 $Y$ 为独立连续型随机变量，那么给定 $Y = y$ 的条件下，$X$ 的条件密度和非条件密度是一样的，即

$$\begin{equation} f_{X|Y}(x|y) = \frac{f(x, y)}{f_Y(y)} = \frac{f_X(x) f_Y(y)}{f_Y(y)} = f_X(x) \tag{6} \end{equation}$$

　　$t$ 分布　如果 $Z$ 和 $Y$ 相互独立，且 $Z$ 服从标准正态分布，$Y$ 服从自由度为 $n$ 的卡方分布，那么定义随机变量 $T$

$$\begin{equation} T = \frac{Z}{\sqrt{Y / n}} = \sqrt{n} \frac{Z}{\sqrt{Y}} \tag{7} \end{equation}$$

称为自由度为 $n$ 的 $t$ 分布。$t$ 分布在统计推断中起着重要作用。

　　二元正态分布　如果对于常数 $\mu_x, \mu_y, \sigma_x > 0, \sigma_y > 0, -1 < \rho < 1$，以及所有 $-\infty < x, y < \infty$，随机变量 $X$ 和 $Y$ 的联合密度函数具有如下形式

$$\begin{equation} f(x, y) = \frac{1}{2\pi\sigma_x\sigma_y\sqrt{1 – \rho^2}} \exp\Big\{-\frac{1}{2(1 – \rho^2)} \Big[ \big(\frac{x – \mu_x}{\sigma_x}\big)^2 + \big(\frac{y – \mu_y}{\sigma_y}\big)^2 \Big] – 2\rho\frac{(x – \mu_x)(y – \mu_y)}{\sigma_x \sigma_y} \Big\} \tag{8} \end{equation}$$

则称 $X$ 和 $Y$ 服从二元正态分布。其中 $X$ 和 $Y$ 分别服从参数为 $(\mu_x, \sigma_x^2)$ 和 $(\mu_y, \sigma_y^2)$ 的正态分布。对于联合正态的随机变量 $X$ 和 $Y$，它们相互独立的充要条件是 $X$ 和 $Y$ 的相关系数 $\rho = 0$，此时 $f(x, y)$ 可以分解成两个因子，一个只与 $x$ 有关，一个只与 $y$ 有关。

　　当随机变量即非联合连续，也非联合离散，也可以考虑相应的条件分布。假设 $X$ 是一个密度函数为 $f$ 的连续型随机变量，$N$ 是一个离散型随机变量，考虑 $N = n$ 的条件下的 $X$ 的条件分布，有

$$\begin{equation} \frac{P\{x < X < x + \mathrm{d}x | N = n\}}{\mathrm{d}x} = \frac{P\{N = n | x < X < x + \mathrm{d}x\}}{P\{N = n\}} \frac{P\{x < X < x + \mathrm{d}x\}}{\mathrm{d}x} \end{equation}$$

令 $\mathrm{d}x \rightarrow 0$，可得

$$\begin{equation} \lim_{\mathrm{d}x \rightarrow 0} = \frac{P\{x < X < x + \mathrm{d}x | N = n\}}{\mathrm{d}x} = \frac{P\{N = n | X = x\}}{P\{N = n\}} f(x) \end{equation}$$

上式说明在给定 $N = n$ 的条件下，$X$ 的条件密度为

$$\begin{equation} f_{X|N}(x|n) = \frac{P\{N = n | X = x\}}{P\{N = n\}} f(x) \tag{9} \end{equation}$$