概率论 Cheat Sheet 4：独立事件
1. 独立事件
在已知 $F$ 发生的条件下，$E$ 发生的条件概率 $P(E|F)$ 通常不等于 $E$ 发生的非条件概率 $P(E)$，即知道了 $F$ 的发生通常会改变 $E$ 发生的概率。如果已知 $F$ 发生并不影响 $E$ 发生的概率，即 $P(E|F) = P(E)$，则称 $E$ 和 $F$ 是独立的。
由 $P(E|F) = \frac{P(EF)}{P(F)}$，如果
\begin{equation}
P(EF) = P(E)P(F) \tag{1}
\end{equation}
则 $E$ 和 $F$ 独立。式 $(1)$ 关于 $E$ 和 $F$ 是对称的，只要 $E$ 和 $F$ 独立，则 $F$ 和 $E$ 也独立。
定义 对于两个事件 $E$ 和 $F$，若有 $P(EF) = P(E)P(F)$，则称它们是独立的（Independent），若两个事件 $E$ 和 $F$ 不独立，则称它们是相依的（Dependent），或者相互不独立。
如果 $E$ 和 $F$ 独立，由 $E = EF \bigcup EF^c$，及 $EF$ 和 $EF^c$ 互不相容，有
\begin{equation}
P(E) = P(EF) + P(EF^c) = P(E)P(F) + P(EF^c)
\end{equation}
从而得到
\begin{equation}
P(EF^c) = P(E) – P(E)P(F) = P(E)[1 – P(F)] = P(E)P(F^c)
\end{equation}
于是有如下命题成立。
命题 如果 $E$ 和 $F$ 独立，那么 $E$ 和 $F^c$ 也独立。
上述命题说明，如果 $E$ 和 $F$ 是独立的，那么无论得知 $F$ 发生的信息，还是得知 $F$ 不发生的信息，$E$ 发生的概率都是不变的。
注意如果 $E$ 既和 $F$ 独立，又和 $G$ 独立，那么 $E$ 并不一定与 $FG$ 独立。例如 $E$ 表示“骰子点数之和为 $7$”，$F$ 表示“第一枚骰子点数为 $4$”，$G$ 表示“第二枚骰子点数为 $3$”，可知 $E$ 和 $F$、$E$ 和 $G$ 是独立的，但 $P(E|FG) = 1$，即 $E$ 和 $FG$ 是不独立的。
三个事件的独立性要比要求所有 $\binom{3}{2}$ 对事件的独立更强。
定义 对于三个事件 $E$、$F$ 和 $G$，如果
\begin{align}
P(EFG) &= P(E)P(F)P(G) \\
P(EF) &= P(E)P(F) \\
P(EG) &= P(E)P(G) \\
P(FG) &= P(F)P(G)
\end{align}
则称这三个事件是独立的。
注意如果 $E$、$F$ 和 $G$ 是独立的，那么 $E$ 与 $F$ 和 $G$ 的任意组合事件都是独立的，例如 $E$ 和 $F \textstyle \bigcup G$ 是独立的。
对于 $n$ 个事件 $E_1, E_2, \cdots, E_n$，如果对于这些事件的任意子集 $E_{1′}, E_{2′}, \cdots, E_{r’}$（$r’ \leq n$），都有
\begin{equation}
P(E_{1′}, E_{2′}, \cdots, E_{r’}) = P(E_{1′}) P(E_{2′}) \cdots P(E_{r’})
\end{equation}
则 $E_1, E_2, \cdots, E_n$ 称为是独立的。
如果对于无限个事件的任意有限个子集都是独立的，则称这无限个事件是独立的。
有时候，所考虑的概率试验由一系列子试验构成（如连续投掷一枚硬币，可将每一次投掷看做一次子实验），且假定任一组子试验的结果不影响其他子试验的结果是合理的，此时，称这些子试验是独立的。更确切地，记第 $i$ 次子试验的结果为 $E_i$，如果事件序列 $E_1, E_2, \cdots, E_n, \cdots$ 是独立的，那么这一系列子试验是独立的。
如果各个子试验彼此相同，即各个子试验有相同的（子）样本空间和相同的事件概率函数，则称这些试验为重复试验。