概率论 Cheat Sheet 3：条件概率与贝叶斯公式
Contents
1. 条件概率
对于事件 $E$ 和 $F$，使用 $P(E|F)$ 表示在 $F$ 已经发生的情况下，$E$ 发生的概率。对于 $P(E|F)$，如果 $F$ 已经发生了，那么为了让 $E$ 也发生，其结果必然既属于 $E$ 又属于 $F$，即这个结果必然属于 $EF$。在 $F$ 已经发生的前提下，$F$ 成了新的样本空间，因此 $E$ 发生的（条件）概率等于 $EF$ 发生的概率与 $F$ 发生的概率之比。
定义 如果 $P(F) > 0$，那么
\begin{equation}
P(E|F) = \frac{P(EF)}{P(F)} \tag{1}
\end{equation}
式 $(1)$ 的两边同时乘以 $P(F)$，可以得到
\begin{equation}
P(EF) = P(F)P(E|F) \tag{2}
\end{equation}
式 $(2)$ 表明 $E$ 和 $F$ 同时发生的概率，等于 $F$ 发生的概率乘以在 $F$ 发生的条件下 $E$ 发生的条件概率。这在计算事件的交的概率时非常有用。
式 $(1)$ 的推广也称为乘法规则，可以用于计算任意个事件交的概率。
乘法规则
\begin{equation}
P(E_1 E_2 E_3 \cdots E_n) = P(E_1)P(E_2|E_1)P(E_3|E_1 E_2) \cdots P(E_n|E_1 \cdots E_{n-1}) \tag{3}
\end{equation}
2. P(·|F) 是概率
条件概率满足普通概率的所有性质，以下命题证明了条件概率 $P(E|F)$ 满足概率的三条公理。
命题
(a) $0 \leq P(E|F) \leq 1$
(b) $P(S|F) = 1$
(c) 若 $E_i$（$i = 1,2, \cdots$）为互不相容的事件序列，则
\begin{equation}
P\Big(\bigcup_{i=1}^{\infty} E_i|F\Big) = \sum_{i=1}^{\infty}P(E_i|F)
\end{equation}
如果已知 $F$ 发生的条件下，$E_1$ 发生的概率不因 $E_2$ 是否发生而改变，则称事件 $E_1$ 和 $E_2$ 关于给定事件 $F$ 是条件独立的（Conditionally Independent）。更确切地，如果
\begin{equation}
P(E_1|E_2F) = P(E_1|F)
\end{equation}
或等价地
\begin{equation}
P(E_1E_2|F) = P(E_1|F)P(E_2|F)
\end{equation}
则称 $E_1$ 和 $E_2$ 关于 $F$ 是条件独立的。
3. 贝叶斯公式
设 $E$ 和 $F$ 为两个事件，$E$ 可以表示为
\begin{equation}
E = EF \textstyle \bigcup EF^c
\end{equation}
上式表明，$E$ 中的结果要么同时属于 $E$ 和 $F$，要么只属于 $E$ 但不属于 $F$。显然 $EF$ 和 $EF^c$ 是不相容的，由公理 3，可得
\begin{align}
P(E) &= P(EF) + P(EF^c) = P(E|F)P(F) + P(E|F^c)P(F^c) \\
&= P(E|F)P(F) + P(E|F^c)[1 – P(F)] \tag{4}
\end{align}
式 $(4)$ 说明事件 $E$ 发生的概率等于 $F$ 发生的条件下 $E$ 发生的条件概率，与在 $F$ 不发生条件下 $E$ 发生的条件概率的加权平均，其中加在每个条件概率上的权重就是作为条件的事件发生的概率。
通过式 $(4)$，可以用第二个事件是否发生作为条件，来计算第一个事件的概率。在一些问题中，直接计算某个概率可能很困难，但是只要知道第二个事件是否发生，就容易计算了。
由式 $(1)$、$(2)$、$(4)$，可以进一步得到
\begin{equation}
P(F|E) = \frac{P(FE)}{P(E)} = \frac{P(E|F)P(F)}{P(E|F)P(F) + P(E|F^c)P(F^c)}
\end{equation}
利用上式可以根据附加信息（$E$）对某事件（$F$）的概率进行修正。例如计算新的证据（$E$）对某个特定假设（$H$）成立的概率的影响，有
\begin{equation}
P(H|E) = \frac{P(HE)}{P(E)} = \frac{P(E|H)P(H)}{P(E|H)P(H) + P(E|H^c)[1 – P(H)]} \tag{5}
\end{equation}
如果新证据 $E$ 支持假设 $H$ 成立，即 $P(H|E) \geq P(H)$，由上式可以得到
\begin{equation}
P(E|H) \geq P(E|H)P(H) + P(E|H^c)[1 – P(H)]
\end{equation}
将 $P(E|H)P(H)$ 移到不等号左边，得到
\begin{equation}
P(E|H) – P(E|H)P(H) \geq + P(E|H^c)[1 – P(H)] \\
P(E|H)(1 – P(H)) \geq P(E|H^c)[1 – P(H)]
\end{equation}
即
\begin{equation}
P(E|H) \geq P(E|H^c)
\end{equation}
上式说明，如果新证据 $E$ 在假设 $H$ 成立时发生的概率大于假设不成立时发生的概率，则可以认为新证据支持假设。
定义 事件 $A$ 的优势比定义为
\begin{equation}
\frac{P(A)}{P(A^c)} = \frac{P(A)}{1 – P(A)}
\end{equation}
事件 $A$ 的优势比描述事件发生的可能性是事件不发生的可能性的倍数。例如，假设 $P(A) = 2/3$，则有 $P(A) = 2P(A^c)$，故事件 $A$ 的优势比为 $2$。如果事件的优势比等于 $\alpha$，则通常称支持假设成立的优势比为 $\alpha : 1$。
考虑假设 $H$ 以概率 $P(H)$ 成立，如果发现了新的证据 $E$，那么在 $E$ 成立的条件下，$H$ 成立和 $H$ 不成立的条件概率分别为
\begin{equation}
P(H|E) = \frac{P(E|H)P(H)}{P(E)} \quad P(H^c|E) = \frac{P(E|H^c)P(H^c)}{P(E)}
\end{equation}
由此可得，引入新证据 $E$ 后，假设 $H$ 的新优势比为
\begin{equation}
\frac{P(H|E)}{P(H^c|E)} = \frac{P(H)}{P(H^c)} \frac{P(E|H)}{P(E|H^c)} \tag{6}
\end{equation}
即 $H$ 的新优势比值等于它原来的优势比值、乘以新的证据在 $H$ 和 $H^c$ 之下的条件概率比值。如果 $E$ 在 $H$ 成立的条件下发生的概率大于在 $H^c$ 成立的条件下发生的概率，则 $H$ 的优势比值增加，表明新证据 $E$ 支持假设 $H$。
全概率公式 式 $(4)$ 可以推广如下：假设 $F_1, F_2, \cdots, F_n$ 是互不相容的事件，且这些事件必然有一件发生，即
\begin{equation}
\bigcup_{i=1}^n F_i = S
\end{equation}
记
\begin{equation}
E = \bigcup_{i=1}^n EF_i
\end{equation}
又由于事件 $EF_i$（$i = 1, \cdots, n$）是互不相容的，则有
\begin{equation}
P(E) = \sum_{i=1}^nP(EF_i) = \sum_{i=1}^nP(E|F_i)P(F_i) \tag{7}
\end{equation}
式 $(7)$ 称为全概率公式，对于事件 $F_1, F_2, \cdots, F_n$，可以用 $F_i$ 是否发生为条件，来计算 $P(E)$。式 $(7)$ 表明，$P(E)$ 等于 $P(E|F_i)$ 的加权平均，每项的权为事件 $F_i$ 发生的概率。
贝叶斯公式
\begin{equation}
P(F_j|E) = \frac{P(EF_j)}{P(E)} = \frac{P(E|F_j)P(F_j)}{\sum\limits_{i=1}^nP(E|F_i)P(F_i)}
\end{equation}
如果将事件 $F_i$ 想象成关于某个问题的各个假设，则贝叶斯公式描述了如何根据试验结果 $E$ 来修正试验之前对这些假设所做的判断，即 $P(F_j)$。