概率论 Cheat Sheet 1：基本概念
本系列整理自《概率论与数理统计（第四版）》（盛骤 等，高等教育出版社）一书，包含关键概念和推导，便于随查随用。
Contents
1. 随机试验
随机试验具有以下特点：
- 可以在相同的条件下重复进行。
- 每次试验的可能结果不只有一个，并且能事先明确试验的所有可能结果。
- 进行一次试验之前不能确定哪一个结果会出现。
2. 样本空间、随机事件
2.1. 样本空间
将随机试验 $E$ 的所有可能结果组成的集合称为 $E$ 的样本空间，记为 $S$。样本空间的元素，即 $E$ 的每个结果，称为样本点。
2.2. 随机事件
称试验 $E$ 的样本空间 $S$ 的子集为 $E$ 的随机事件，简称事件。在每次试验中，当且仅当这一子集中的一个样本点出现时，称这一事件发生。
由一个样本点组成的单点集称为基本事件。
样本空间 $S$ 包含所有的样本点，它是 $S$ 自身的子集，在每次试验中总是发生，$S$ 称为必然事件。
空集 $\varnothing$ 不包含任何样本点，它也作为样本空间的子集，在每次试验中都不发生，$\varnothing$ 称为不可能事件。
2.3. 事件间的关系与事件的运算
设试验 $E$ 的样本空间为 $S$，而 $A$，$B$，$A_k$ $(k=1,2,…)$ 是 $S$ 的子集。
1. 若 $A \subset B$，则称事件 $B$ 包含事件 $A$，事件 $A$ 发生必然导致事件 $B$ 发生。若 $A \subset B$ 且 $B \subset A$，即 $A = B$，则称事件 $A$ 与事件 $B$ 相等。
2. 事件 $A \cup B = \{x | x \in A \; 或 \; x \in B \}$ 称为事件 $A$ 与事件 $B$ 的和事件。当且仅当 $A$，$B$ 中至少有一个发生时，事件 $A \cup B$ 发生。
类似地，称 $\bigcup\limits_{k=1}^{n}A_k$ 为 $n$ 个事件 $A_1$，$A_2$，$\cdots$，$A_n$ 的和事件；称 $\bigcup\limits_{k=1}^{\infty}A_k$ 为可列个事件 $A_1$，$A_2$，$\cdots$ 的和事件。
3. 事件 $A \cap B = \{x | x \in A \; 且 \; x \in B \}$ 称为事件 $A$ 与事件 $B$ 的积事件。当且仅当 $A$，$B$ 同时发生时，事件 $A \cap B$ 发生。$A \cap B$ 也记作 $AB$。
类似地，称 $\bigcap\limits_{k=1}^{n}A_k$ 为 $n$ 个事件 $A_1$，$A_2$，$\cdots$，$A_n$ 的积事件；称 $\bigcap\limits_{k=1}^{\infty}A_k$ 为可列个事件 $A_1$，$A_2$，$\cdots$ 的积事件。
4. 事件 $A – B = \{x | x \in A \; 且 \; x \notin B \}$ 称为事件 $A$ 与事件 $B$ 的差事件。当且仅当 $A$ 发生，$B$ 不发生时 $A – B$ 发生。
5. 若 $A \cap B = \varnothing$，则称事件 $A$ 与 $B$ 是互不相容的，或互斥的。即事件 $A$ 与事件 $B$ 不能同时发生。基本事件是两两互不相容的。
6. 若 $A \cup B = S$ 且 $A \cap B = \varnothing$，则称事件 $A$ 与事件 $B$ 互为逆事件，又称事件 $A$ 与事件 $B$ 互为对立事件。这指的是对每次试验而言，事件 $A$、$B$ 中必有一个发生，且仅有一个发生。$A$ 的对立事件记为 $\overline A$。$\overline A = S – A$。
3. 频率与概率
3.1. 频率
定义 在相同的条件下，进行了 $n$ 次试验，在这 $n$ 次试验中，事件 $A$ 发生的次数 $n_A$ 称为事件 $A$ 发生的频数。比值 $n_A/n$ 称为事件 $A$ 发生的频率，并记成 $f_n(A)$。
频率具有如下性质：
- $0 \leq f_n(A) \leq 1$；
- $f_n(S) = 1$
- 若 $A_1$，$A_2$，$\cdots$，$A_k$ 是两两互不相容的事件，则 $$f_n(A_1 \cup A_2 \cup \cdots \cup A_k) = f_n(A_1) + f_n(A_2) + \cdots + f_n(A_k)$$
3.2. 概率
定义 设 $E$ 是随机试验，$S$ 是它的样本空间。对于 $E$ 的每一事件 $A$ 赋予一个实数，记为 $P(A)$，称为事件 $A$ 的概率，如果集合函数 $P(\cdot)$满足下列条件：
- 非负性：对于每一个事件 $A$，有 $P(A) \geq 0$；
- 规范性：对于必然事件 $S$，有 $P(S) = 1$；
- 可列可加性：设 $A_1$，$A_2$，$\cdots$ 是两两互不相容的事件，即对于 $A_iA_j = \varnothing, \; i \neq j, \; i,j = 1,2,\cdots$，有
\begin{equation}
P(A_1 \cup A_2 \cup \cdots) = P(A_1) + P(A_2) + \cdots
\end{equation}
概率有以下性质。
性质 i $P(\varnothing) = 0$。
性质 ii （有限可加性）若$A_1$，$A_2$，$\cdots$，$A_n$ 是两两互不相容的事件，则有
\begin{equation}
P(A_1 \cup A_2 \cup \cdots \cup A_n) = P(A_1) + P(A_2) + \cdots + P(A_n)
\end{equation}
性质 iii 设 $A$，$B$ 是两个事件，若 $A \subset B$，则有
\begin{equation}
P(B – A) = P(B) – P(A) \\
P(B) \geq p(A)
\end{equation}
性质 iv 对于任一事件 $A$，
\begin{equation}
P(A) \leq 1
\end{equation}
性质 v （逆事件的概率）对于任一事件 $A$，有
\begin{equation}
P(\overline A) = 1 – P(A)
\end{equation}
性质 vi （加法公式）对于任意两事件 $A$，$B$ 有
\begin{equation}
P(A \cup B) = P(A) + P(B) – P(AB)
\end{equation}
4. 等可能概型（古典概型）
等可能概型（古典概型）具有以下特的点：
- 试验的样本空间只包含有限个元素；
- 试验中每个基本事件发生的可能性相同。
设试验的样本空间为 $S = \{e_1, e_2, \cdots, e_n\}$, 若事件 $A$ 包含 $k$ 个基本事件，即 $A = e_{i_1} \cup e_{i_2} \cup \cdots \cup e_{i_k}$，这里 $i_1, i_2, \cdots ,i_k$ 是 $1,2,\cdots,n$ 中某 $k$ 个不同的数，则有
\begin{equation}
P(A) = \sum_{j=1}^{k}P(\{e_{i_j}\}) = \frac{k}{n} = \frac{A包含的基本事件数}{S中基本事件的总数}
\end{equation}
超几何分布：设有 $N$ 件产品，其中有 $D$ 件次品，从中任取 $n$ 件，恰有 $k$ （$k \leq D$）件次品的概率为
\begin{equation}
p = \binom{D}{k}\binom{N-D}{n-k}/\binom{N}{n}
\end{equation}
上式即所谓超几何分布的概率公式。
对于任意实数 $a$ 以及非负整数 $r$，定义
\begin{equation}
\binom{a}{r} = \frac{a(a-1)\cdots(a-r+1)}{r!} \\
\binom{a}{0} = 1
\end{equation}
特别地，当 $a$ 为正整数，且 $r \leq a$ 时，$\binom{a}{r}$ 即为组合数，即 $\binom{a}{r} = C_a^r$。
实际推断原理：概率很小的事件在一次试验中实际上几乎是不发生的。
5. 条件概率
5.1. 条件概率
定义 设 $A$、$B$ 是两个事件，且 $P(A) > 0$，称
\begin{equation}
P(B|A) = \frac{P(AB)}{P(A)}
\end{equation}
为事件 $A$ 发生的条件下事件 $B$ 发生的条件概率。
条件概率 $P(\cdot|A)$ 符合概率定义中的三个条件，即
- 非负性：对于每一事件 $B$，有 $P(B|A) \geq 0$
- 规范性：对于必然事件 $S$，有 $P(S|A) = 1$
- 可列可加性：设 $B_1,B_2,\cdots$ 是两两互不相容的事件，则有
\begin{equation}
P(\bigcup\limits_{i=1}{\infty}B_i|A) = \sum_{i=1}^{\infty}P(B_i|A)
\end{equation}
3.2 中概率的一些重要结果都适用于条件概率，例如对于任意事件 $B_1$，$B_2$ 有
\begin{equation}
P(B_1 \cup B_2|A) = P(B_1|A) + P(B_2|A) – P(B_1B_2|A)
\end{equation}
5.2. 乘法定理
由条件概率定义，可得下述定理：
乘法定理 设 $P(A) > 0$，则有
\begin{equation}
P(AB) = P(B|A)P(A)
\end{equation}
上式称为乘法公式。
一般地，设 $A_1,A_2,\cdots,A_n$ 为 $n$ 个事件，$n \geq 2$，且 $P(A_1 A_2 \cdots A_{n-1} > 0)$，则有
\begin{equation}
P(A_1,A_2,\cdots,A_n) = P(A_n|A_1,A_2,\cdots,A_{n-1})P(A_{n-1}|A_1,A_2,\cdots,A_{n-2}) \cdots P(A_2|A_1) P(A_1)
\end{equation}
5.3. 全概率公式和贝叶斯公式
定义 设 $S$ 为试验 $E$ 的样本空间，$B_1,B_2,\cdots B_n$ 为 $E$ 的一组事件，若
（i）$B_iB_j = \varnothing, \; i \neq j, \; i, j = 1,2,\cdots,n$
（ii）$B_1 \cup B_2 \cup \cdots \cup B_n = S_n$
则称 $B_1,B_2,\cdots B_n$ 为样本空间 $S$ 的一个划分。
若 $B_1,B_2,\cdots B_n$ 是样本空间的一个划分，则对于每次试验，事件 $B_1,B_2,\cdots B_n$ 中必有且仅有一个发生。
定理 设试验 $E$ 的样本空间为 $S$，$A$ 为 $E$ 的事件，$B_1,B_2,\cdots B_n$ 为 $S$ 的一个划分，且 $P(B_i) > 0$（$i = 1,2,\cdots,n$），则
\begin{equation}
P(A) = P(A|B_1)P(B_1) + P(A|B_2)P(B_2) + \cdots + P(A|B_n)P(B_n)
\end{equation}
上式称为 全概率公式。
在很多问题中 $P(A)$ 不易直接求得，但却容易找到 $S$ 的一个划分 $B_1,B_2,\cdots B_n$，且 $P(B_i)$ 和 $P(A|B_i)$ 或为已知，或容易求得，那么就可以根据上式求得 $P(A)$。
定理 设试验 $E$ 的样本空间为 $S$，$A$ 为 $E$ 的事件，$B_1,B_2,\cdots B_n$ 为 $S$ 的一个划分，且 $P(A) >0$，$P(B_i) > 0$（$i = 1,2,\cdots,n$），则
\begin{equation}
P(B_i|A) = \frac{P(A|B_i)P(B_i)}{\sum_{j=1}^{n}P(A|B_j)P(B_j)}, \; i = 1,2,\cdots,n
\end{equation}
上式称为贝叶斯（Bayes）公式。
证 由条件概率的定义和全概率公式得
\begin{equation}
P(B_i|A) = \frac{P(B_iA)}{P(A)} = \frac{P(A|B_i)P(B_i)}{\sum_{j=1}^{n}P(A|B_j)P(B_j)}, \; i = 1,2,\cdots,n
\end{equation}
6. 独立性
定义 设 $A$，$B$ 是两事件，如果满足等式
\begin{equation}
P(AB) = P(A)P(B) \tag{6.1}
\end{equation}
则称事件 $A$，$B$ 相互独立，简称 $A$，$B$ 独立。
若 $P(A) > 0$，$P(B) > 0$，则 $A$，$B$ 相互独立与 $A$，$B$ 互不相容不能同时成立。
定理一 设 $A$，$B$ 是两事件，且 $P(A) > 0$。若 $A$，$B$ 相互独立，则 $P(B|A) = P(B)$。反之亦然。
定理二 若事件 $A$，$B$ 相互独立，则下列各对事件也相互独立：$A$ 与 $\bar B$，$\bar A$ 与 $B$，$\bar A$ 与 $\bar B$。
定义 设 $A$，$B$，$C$ 是三个事件，如果满足等式
\begin{equation}
P(AB) = P(A)P(B) \\
P(BC) = P(B)P(C) \\
P(AC) = P(A)P(C) \\
P(AAB) = P(A)P(B)P(C)
\end{equation}
则称事件 $A$，$B$，$C$ 相互独立。
一般，设 $A_1,A_2,\cdots,A_n$ 是 $n$（$n \geq 2$）个事件，如果对于其中人气 $2$ 个，任意 $3$ 个，$\cdots$，任意 $n$ 个事件的积事件的概率，都等于各事件概率之积，则称事件 $A_1,A_2,\cdots,A_n$ 相互独立。
由定义，可以得到一下两个推论，
- 若事件 $A_1,A_2,\cdots,A_n$（$n \geq 2$）相互独立，则其中任意 $k$ （$2 \leq k \leq n$）个事件也是相互独立的。
- 若事件 $A_1,A_2,\cdots,A_n$（$n \geq 2$）相互独立，则将 $A_1,A_2,\cdots,A_n$ 中任意多个事件换成它们各自的对立事件，所得的 $n$ 个事件仍相互独立。