概率论 Cheat Sheet 3:条件概率与贝叶斯公式

1. 条件概率

  对于事件 $E$ 和 $F$,使用 $P(E|F)$ 表示在 $F$ 已经发生的情况下,$E$ 发生的概率。对于 $P(E|F)$,如果 $F$ 已经发生了,那么为了让 $E$ 也发生,其结果必然既属于 $E$ 又属于 $F$,即这个结果必然属于 $EF$。在 $F$ 已经发生的前提下,$F$ 成了新的样本空间,因此 $E$ 发生的(条件)概率等于 $EF$ 发生的概率与 $F$ 发生的概率之比。

  定义 如果 $P(F) > 0$,那么

\begin{equation}
P(E|F) = \frac{P(EF)}{P(F)} \tag{1}
\end{equation}

  式 $(1)$ 的两边同时乘以 $P(F)$,可以得到

\begin{equation}
P(EF) = P(F)P(E|F) \tag{2}
\end{equation}

式 $(2)$ 表明 $E$ 和 $F$ 同时发生的概率,等于 $F$ 发生的概率乘以在 $F$ 发生的条件下 $E$ 发生的条件概率。这在计算事件的交的概率时非常有用。

  式 $(1)$ 的推广也称为乘法规则,可以用于计算任意个事件交的概率。

  乘法规则

\begin{equation}
P(E_1 E_2 E_3 \cdots E_n) = P(E_1)P(E_2|E_1)P(E_3|E_1 E_2) \cdots P(E_n|E_1 \cdots E_{n-1}) \tag{3}
\end{equation}

2. P(·|F) 是概率

  条件概率满足普通概率的所有性质,以下命题证明了条件概率 $P(E|F)$ 满足概率的三条公理

  命题
(a) $0 \leq P(E|F) \leq 1$
(b) $P(S|F) = 1$
(c) 若 $E_i$($i = 1,2, \cdots$)为互不相容的事件序列,则

\begin{equation}
P\Big(\bigcup_{i=1}^{\infty} E_i|F\Big) = \sum_{i=1}^{\infty}P(E_i|F)
\end{equation}

  如果已知 $F$ 发生的条件下,$E_1$ 发生的概率不因 $E_2$ 是否发生而改变,则称事件 $E_1$ 和 $E_2$ 关于给定事件 $F$ 是条件独立的(Conditionally Independent)。更确切地,如果

\begin{equation}
P(E_1|E_2F) = P(E_1|F)
\end{equation}

或等价地

\begin{equation}
P(E_1E_2|F) = P(E_1|F)P(E_2|F)
\end{equation}

则称 $E_1$ 和 $E_2$ 关于 $F$ 是条件独立的。

3. 贝叶斯公式

  设 $E$ 和 $F$ 为两个事件,$E$ 可以表示为

\begin{equation}
E = EF \textstyle \bigcup EF^c
\end{equation}

上式表明,$E$ 中的结果要么同时属于 $E$ 和 $F$,要么只属于 $E$ 但不属于 $F$。显然 $EF$ 和 $EF^c$ 是不相容的,由公理 3,可得

\begin{align}
P(E) &= P(EF) + P(EF^c) = P(E|F)P(F) + P(E|F^c)P(F^c) \\
&= P(E|F)P(F) + P(E|F^c)[1 – P(F)] \tag{4}
\end{align}

  式 $(4)$ 说明事件 $E$ 发生的概率等于 $F$ 发生的条件下 $E$ 发生的条件概率,与在 $F$ 不发生条件下 $E$ 发生的条件概率的加权平均,其中加在每个条件概率上的权重就是作为条件的事件发生的概率。

  通过式 $(4)$,可以用第二个事件是否发生作为条件,来计算第一个事件的概率。在一些问题中,直接计算某个概率可能很困难,但是只要知道第二个事件是否发生,就容易计算了。

  由式 $(1)$、$(2)$、$(4)$,可以进一步得到

\begin{equation}
P(F|E) = \frac{P(FE)}{P(E)} = \frac{P(E|F)P(F)}{P(E|F)P(F) + P(E|F^c)P(F^c)}
\end{equation}

  利用上式可以根据附加信息($E$)对某事件($F$)的概率进行修正。例如计算新的证据($E$)对某个特定假设($H$)成立的概率的影响,有

\begin{equation}
P(H|E) = \frac{P(HE)}{P(E)} = \frac{P(E|H)P(H)}{P(E|H)P(H) + P(E|H^c)[1 – P(H)]} \tag{5}
\end{equation}

如果新证据 $E$ 支持假设 $H$ 成立,即 $P(H|E) \geq P(H)$,由上式可以得到

\begin{equation}
P(E|H) \geq P(E|H)P(H) + P(E|H^c)[1 – P(H)]
\end{equation}

将 $P(E|H)P(H)$ 移到不等号左边,得到

\begin{equation}
P(E|H) – P(E|H)P(H) \geq + P(E|H^c)[1 – P(H)] \\
P(E|H)(1 – P(H)) \geq P(E|H^c)[1 – P(H)]
\end{equation}

\begin{equation}
P(E|H) \geq P(E|H^c)
\end{equation}

上式说明,如果新证据 $E$ 在假设 $H$ 成立时发生的概率大于假设不成立时发生的概率,则可以认为新证据支持假设。

  定义 事件 $A$ 的优势比定义为

\begin{equation}
\frac{P(A)}{P(A^c)} = \frac{P(A)}{1 – P(A)}
\end{equation}

事件 $A$ 的优势比描述事件发生的可能性是事件不发生的可能性的倍数。例如,假设 $P(A) = 2/3$,则有 $P(A) = 2P(A^c)$,故事件 $A$ 的优势比为 $2$。如果事件的优势比等于 $\alpha$,则通常称支持假设成立的优势比为 $\alpha : 1$。

  考虑假设 $H$ 以概率 $P(H)$ 成立,如果发现了新的证据 $E$,那么在 $E$ 成立的条件下,$H$ 成立和 $H$ 不成立的条件概率分别为

\begin{equation}
P(H|E) = \frac{P(E|H)P(H)}{P(E)} \quad P(H^c|E) = \frac{P(E|H^c)P(H^c)}{P(E)}
\end{equation}

由此可得,引入新证据 $E$ 后,假设 $H$ 的新优势比为

\begin{equation}
\frac{P(H|E)}{P(H^c|E)} = \frac{P(H)}{P(H^c)} \frac{P(E|H)}{P(E|H^c)} \tag{6}
\end{equation}

即 $H$ 的新优势比值等于它原来的优势比值、乘以新的证据在 $H$ 和 $H^c$ 之下的条件概率比值。如果 $E$ 在 $H$ 成立的条件下发生的概率大于在 $H^c$ 成立的条件下发生的概率,则 $H$ 的优势比值增加,表明新证据 $E$ 支持假设 $H$。

  全概率公式 式 $(4)$ 可以推广如下:假设 $F_1, F_2, \cdots, F_n$ 是互不相容的事件,且这些事件必然有一件发生,即

\begin{equation}
\bigcup_{i=1}^n F_i = S
\end{equation}

\begin{equation}
E = \bigcup_{i=1}^n EF_i
\end{equation}

又由于事件 $EF_i$($i = 1, \cdots, n$)是互不相容的,则有

\begin{equation}
P(E) = \sum_{i=1}^nP(EF_i) = \sum_{i=1}^nP(E|F_i)P(F_i) \tag{7}
\end{equation}

式 $(7)$ 称为全概率公式,对于事件 $F_1, F_2, \cdots, F_n$,可以用 $F_i$ 是否发生为条件,来计算 $P(E)$。式 $(7)$ 表明,$P(E)$ 等于 $P(E|F_i)$ 的加权平均,每项的权为事件 $F_i$ 发生的概率。

  贝叶斯公式

\begin{equation}
P(F_j|E) = \frac{P(EF_j)}{P(E)} = \frac{P(E|F_j)P(F_j)}{\sum\limits_{i=1}^nP(E|F_i)P(F_i)}
\end{equation}

如果将事件 $F_i$ 想象成关于某个问题的各个假设,则贝叶斯公式描述了如何根据试验结果 $E$ 来修正试验之前对这些假设所做的判断,即 $P(F_j)$。