概率论 Cheat Sheet 3：条件概率与贝叶斯公式

Author: nex3z 2019-01-12

1. 条件概率

　　对于事件 $E$ 和 $F$，使用 $P(E|F)$ 表示在 $F$ 已经发生的情况下，$E$ 发生的概率。对于 $P(E|F)$，如果 $F$ 已经发生了，那么为了让 $E$ 也发生，其结果必然既属于 $E$ 又属于 $F$，即这个结果必然属于 $EF$。在 $F$ 已经发生的前提下，$F$ 成了新的样本空间，因此 $E$ 发生的（条件）概率等于 $EF$ 发生的概率与 $F$ 发生的概率之比。

　　定义　如果 $P(F) > 0$，那么

$$\begin{equation} P(E|F) = \frac{P(EF)}{P(F)} \tag{1} \end{equation}$$

　　式 $(1)$ 的两边同时乘以 $P(F)$，可以得到

$$\begin{equation} P(EF) = P(F)P(E|F) \tag{2} \end{equation}$$

式 $(2)$ 表明 $E$ 和 $F$ 同时发生的概率，等于 $F$ 发生的概率乘以在 $F$ 发生的条件下 $E$ 发生的条件概率。这在计算事件的交的概率时非常有用。

　　式 $(1)$ 的推广也称为乘法规则，可以用于计算任意个事件交的概率。

　　乘法规则

$$\begin{equation} P(E_1 E_2 E_3 \cdots E_n) = P(E_1)P(E_2|E_1)P(E_3|E_1 E_2) \cdots P(E_n|E_1 \cdots E_{n-1}) \tag{3} \end{equation}$$

2. P(·|F) 是概率

　　条件概率满足普通概率的所有性质，以下命题证明了条件概率 $P(E|F)$ 满足概率的三条公理。

　　命题
(a) $0 \leq P(E|F) \leq 1$
(b) $P(S|F) = 1$
(c) 若 $E_i$（$i = 1,2, \cdots$）为互不相容的事件序列，则

$$\begin{equation} P\Big(\bigcup_{i=1}^{\infty} E_i|F\Big) = \sum_{i=1}^{\infty}P(E_i|F) \end{equation}$$

　　如果已知 $F$ 发生的条件下，$E_1$ 发生的概率不因 $E_2$ 是否发生而改变，则称事件 $E_1$ 和 $E_2$ 关于给定事件 $F$ 是条件独立的（Conditionally Independent）。更确切地，如果

$$\begin{equation} P(E_1|E_2F) = P(E_1|F) \end{equation}$$

或等价地

$$\begin{equation} P(E_1E_2|F) = P(E_1|F)P(E_2|F) \end{equation}$$

则称 $E_1$ 和 $E_2$ 关于 $F$ 是条件独立的。

3. 贝叶斯公式

　　设 $E$ 和 $F$ 为两个事件，$E$ 可以表示为

$$\begin{equation} E = EF \textstyle \bigcup EF^c \end{equation}$$

上式表明，$E$ 中的结果要么同时属于 $E$ 和 $F$，要么只属于 $E$ 但不属于 $F$。显然 $EF$ 和 $EF^c$ 是不相容的，由公理 3，可得

$$\begin{align} P(E) &= P(EF) + P(EF^c) = P(E|F)P(F) + P(E|F^c)P(F^c) \\ &= P(E|F)P(F) + P(E|F^c)[1 – P(F)] \tag{4} \end{align}$$

　　式 $(4)$ 说明事件 $E$ 发生的概率等于 $F$ 发生的条件下 $E$ 发生的条件概率，与在 $F$ 不发生条件下 $E$ 发生的条件概率的加权平均，其中加在每个条件概率上的权重就是作为条件的事件发生的概率。

　　通过式 $(4)$，可以用第二个事件是否发生作为条件，来计算第一个事件的概率。在一些问题中，直接计算某个概率可能很困难，但是只要知道第二个事件是否发生，就容易计算了。

　　由式 $(1)$、$(2)$、$(4)$，可以进一步得到

$$\begin{equation} P(F|E) = \frac{P(FE)}{P(E)} = \frac{P(E|F)P(F)}{P(E|F)P(F) + P(E|F^c)P(F^c)} \end{equation}$$

　　利用上式可以根据附加信息（$E$）对某事件（$F$）的概率进行修正。例如计算新的证据（$E$）对某个特定假设（$H$）成立的概率的影响，有

$$\begin{equation} P(H|E) = \frac{P(HE)}{P(E)} = \frac{P(E|H)P(H)}{P(E|H)P(H) + P(E|H^c)[1 – P(H)]} \tag{5} \end{equation}$$

如果新证据 $E$ 支持假设 $H$ 成立，即 $P(H|E) \geq P(H)$，由上式可以得到

$$\begin{equation} P(E|H) \geq P(E|H)P(H) + P(E|H^c)[1 – P(H)] \end{equation}$$

将 $P(E|H)P(H)$ 移到不等号左边，得到

$$\begin{equation} P(E|H) – P(E|H)P(H) \geq + P(E|H^c)[1 – P(H)] \\ P(E|H)(1 – P(H)) \geq P(E|H^c)[1 – P(H)] \end{equation}$$

即

$$\begin{equation} P(E|H) \geq P(E|H^c) \end{equation}$$

上式说明，如果新证据 $E$ 在假设 $H$ 成立时发生的概率大于假设不成立时发生的概率，则可以认为新证据支持假设。

　　定义　事件 $A$ 的优势比定义为

$$\begin{equation} \frac{P(A)}{P(A^c)} = \frac{P(A)}{1 – P(A)} \end{equation}$$

事件 $A$ 的优势比描述事件发生的可能性是事件不发生的可能性的倍数。例如，假设 $P(A) = 2/3$，则有 $P(A) = 2P(A^c)$，故事件 $A$ 的优势比为 $2$。如果事件的优势比等于 $\alpha$，则通常称支持假设成立的优势比为 $\alpha : 1$。

　　考虑假设 $H$ 以概率 $P(H)$ 成立，如果发现了新的证据 $E$，那么在 $E$ 成立的条件下，$H$ 成立和 $H$ 不成立的条件概率分别为

$$\begin{equation} P(H|E) = \frac{P(E|H)P(H)}{P(E)} \quad P(H^c|E) = \frac{P(E|H^c)P(H^c)}{P(E)} \end{equation}$$

由此可得，引入新证据 $E$ 后，假设 $H$ 的新优势比为

$$\begin{equation} \frac{P(H|E)}{P(H^c|E)} = \frac{P(H)}{P(H^c)} \frac{P(E|H)}{P(E|H^c)} \tag{6} \end{equation}$$

即 $H$ 的新优势比值等于它原来的优势比值、乘以新的证据在 $H$ 和 $H^c$ 之下的条件概率比值。如果 $E$ 在 $H$ 成立的条件下发生的概率大于在 $H^c$ 成立的条件下发生的概率，则 $H$ 的优势比值增加，表明新证据 $E$ 支持假设 $H$。

　　全概率公式　式 $(4)$ 可以推广如下：假设 $F_1, F_2, \cdots, F_n$ 是互不相容的事件，且这些事件必然有一件发生，即

$$\begin{equation} \bigcup_{i=1}^n F_i = S \end{equation}$$

记

$$\begin{equation} E = \bigcup_{i=1}^n EF_i \end{equation}$$

又由于事件 $EF_i$（$i = 1, \cdots, n$）是互不相容的，则有

$$\begin{equation} P(E) = \sum_{i=1}^nP(EF_i) = \sum_{i=1}^nP(E|F_i)P(F_i) \tag{7} \end{equation}$$

式 $(7)$ 称为全概率公式，对于事件 $F_1, F_2, \cdots, F_n$，可以用 $F_i$ 是否发生为条件，来计算 $P(E)$。式 $(7)$ 表明，$P(E)$ 等于 $P(E|F_i)$ 的加权平均，每项的权为事件 $F_i$ 发生的概率。

　　贝叶斯公式

$$\begin{equation} P(F_j|E) = \frac{P(EF_j)}{P(E)} = \frac{P(E|F_j)P(F_j)}{\sum\limits_{i=1}^nP(E|F_i)P(F_i)} \end{equation}$$

如果将事件 $F_i$ 想象成关于某个问题的各个假设，则贝叶斯公式描述了如何根据试验结果 $E$ 来修正试验之前对这些假设所做的判断，即 $P(F_j)$。