概率论 Cheat Sheet 1：基本概念

Author: nex3z 2018-05-19

　　本系列整理自《概率论与数理统计（第四版）》（盛骤 等，高等教育出版社）一书，包含关键概念和推导，便于随查随用。

1. 随机试验

　　随机试验具有以下特点：

1. 可以在相同的条件下重复进行。
2. 每次试验的可能结果不只有一个，并且能事先明确试验的所有可能结果。
3. 进行一次试验之前不能确定哪一个结果会出现。

2. 样本空间、随机事件

2.1. 样本空间

　　将随机试验 $E$ 的所有可能结果组成的集合称为 $E$ 的样本空间，记为 $S$。样本空间的元素，即 $E$ 的每个结果，称为样本点。

2.2. 随机事件

　　称试验 $E$ 的样本空间 $S$ 的子集为 $E$ 的随机事件，简称事件。在每次试验中，当且仅当这一子集中的一个样本点出现时，称这一事件发生。

　　由一个样本点组成的单点集称为基本事件。

　　样本空间 $S$ 包含所有的样本点，它是 $S$ 自身的子集，在每次试验中总是发生，$S$ 称为必然事件。

　　空集 $\varnothing$ 不包含任何样本点，它也作为样本空间的子集，在每次试验中都不发生，$\varnothing$ 称为不可能事件。

2.3. 事件间的关系与事件的运算

　　设试验 $E$ 的样本空间为 $S$，而 $A$，$B$，$A_k$ $(k=1,2,…)$ 是 $S$ 的子集。

　　1. 若 $A \subset B$，则称事件 $B$ 包含事件 $A$，事件 $A$ 发生必然导致事件 $B$ 发生。若 $A \subset B$ 且 $B \subset A$，即 $A = B$，则称事件 $A$ 与事件 $B$ 相等。

　　2. 事件 $A \cup B = \{x | x \in A \; 或 \; x \in B \}$ 称为事件 $A$ 与事件 $B$ 的和事件。当且仅当 $A$，$B$ 中至少有一个发生时，事件 $A \cup B$ 发生。
　　类似地，称 $\bigcup\limits_{k=1}^{n}A_k$ 为 $n$ 个事件 $A_1$，$A_2$，$\cdots$，$A_n$ 的和事件；称 $\bigcup\limits_{k=1}^{\infty}A_k$ 为可列个事件 $A_1$，$A_2$，$\cdots$ 的和事件。

　　3. 事件 $A \cap B = \{x | x \in A \; 且 \; x \in B \}$ 称为事件 $A$ 与事件 $B$ 的积事件。当且仅当 $A$，$B$ 同时发生时，事件 $A \cap B$ 发生。$A \cap B$ 也记作 $AB$。
　　类似地，称 $\bigcap\limits_{k=1}^{n}A_k$ 为 $n$ 个事件 $A_1$，$A_2$，$\cdots$，$A_n$ 的积事件；称 $\bigcap\limits_{k=1}^{\infty}A_k$ 为可列个事件 $A_1$，$A_2$，$\cdots$ 的积事件。

　　4. 事件 $A – B = \{x | x \in A \; 且 \; x \notin B \}$ 称为事件 $A$ 与事件 $B$ 的差事件。当且仅当 $A$ 发生，$B$ 不发生时 $A – B$ 发生。

　　5. 若 $A \cap B = \varnothing$，则称事件 $A$ 与 $B$ 是互不相容的，或互斥的。即事件 $A$ 与事件 $B$ 不能同时发生。基本事件是两两互不相容的。

　　6. 若 $A \cup B = S$ 且 $A \cap B = \varnothing$，则称事件 $A$ 与事件 $B$ 互为逆事件，又称事件 $A$ 与事件 $B$ 互为对立事件。这指的是对每次试验而言，事件 $A$、$B$ 中必有一个发生，且仅有一个发生。$A$ 的对立事件记为 $\overline A$。$\overline A = S – A$。

3. 频率与概率

3.1. 频率

　　定义　在相同的条件下，进行了 $n$ 次试验，在这 $n$ 次试验中，事件 $A$ 发生的次数 $n_A$ 称为事件 $A$ 发生的频数。比值 $n_A/n$ 称为事件 $A$ 发生的频率，并记成 $f_n(A)$。

　　频率具有如下性质：

1. $0 \leq f_n(A) \leq 1$；
2. $f_n(S) = 1$
3. 若 $A_1$，$A_2$，$\cdots$，$A_k$ 是两两互不相容的事件，则 $$f_n(A_1 \cup A_2 \cup \cdots \cup A_k) = f_n(A_1) + f_n(A_2) + \cdots + f_n(A_k)$$

3.2. 概率

　　定义　设 $E$ 是随机试验，$S$ 是它的样本空间。对于 $E$ 的每一事件 $A$ 赋予一个实数，记为 $P(A)$，称为事件 $A$ 的概率，如果集合函数 $P(\cdot)$满足下列条件：

1. 非负性：对于每一个事件 $A$，有 $P(A) \geq 0$；
2. 规范性：对于必然事件 $S$，有 $P(S) = 1$；
3. 可列可加性：设 $A_1$，$A_2$，$\cdots$ 是两两互不相容的事件，即对于 $A_iA_j = \varnothing, \; i \neq j, \; i,j = 1,2,\cdots$，有

$$\begin{equation} P(A_1 \cup A_2 \cup \cdots) = P(A_1) + P(A_2) + \cdots \end{equation}$$

　　概率有以下性质。

　　性质 i　$P(\varnothing) = 0$。

　　性质 ii　（有限可加性）若$A_1$，$A_2$，$\cdots$，$A_n$ 是两两互不相容的事件，则有

$$\begin{equation} P(A_1 \cup A_2 \cup \cdots \cup A_n) = P(A_1) + P(A_2) + \cdots + P(A_n) \end{equation}$$

　　性质 iii　设 $A$，$B$ 是两个事件，若 $A \subset B$，则有

$$\begin{equation} P(B – A) = P(B) – P(A) \\ P(B) \geq p(A) \end{equation}$$

　　性质 iv　对于任一事件 $A$，

$$\begin{equation} P(A) \leq 1 \end{equation}$$

　　性质 v　（逆事件的概率）对于任一事件 $A$，有

$$\begin{equation} P(\overline A) = 1 – P(A) \end{equation}$$

　　性质 vi　（加法公式）对于任意两事件 $A$，$B$ 有

$$\begin{equation} P(A \cup B) = P(A) + P(B) – P(AB) \end{equation}$$

4. 等可能概型（古典概型）

　　等可能概型（古典概型）具有以下特的点：

1. 试验的样本空间只包含有限个元素；
2. 试验中每个基本事件发生的可能性相同。

　　设试验的样本空间为 $S = \{e_1, e_2, \cdots, e_n\}$, 若事件 $A$ 包含 $k$ 个基本事件，即 $A = e_{i_1} \cup e_{i_2} \cup \cdots \cup e_{i_k}$，这里 $i_1, i_2, \cdots ,i_k$ 是 $1,2,\cdots,n$ 中某 $k$ 个不同的数，则有

$$\begin{equation} P(A) = \sum_{j=1}^{k}P(\{e_{i_j}\}) = \frac{k}{n} = \frac{A包含的基本事件数}{S中基本事件的总数} \end{equation}$$

　　超几何分布：设有 $N$ 件产品，其中有 $D$ 件次品，从中任取 $n$ 件，恰有 $k$ （$k \leq D$）件次品的概率为

$$\begin{equation} p = \binom{D}{k}\binom{N-D}{n-k}/\binom{N}{n} \end{equation}$$

上式即所谓超几何分布的概率公式。

　　对于任意实数 $a$ 以及非负整数 $r$，定义

$$\begin{equation} \binom{a}{r} = \frac{a(a-1)\cdots(a-r+1)}{r!} \\ \binom{a}{0} = 1 \end{equation}$$

特别地，当 $a$ 为正整数，且 $r \leq a$ 时，$\binom{a}{r}$ 即为组合数，即 $\binom{a}{r} = C_a^r$。

　　实际推断原理：概率很小的事件在一次试验中实际上几乎是不发生的。

5. 条件概率

5.1. 条件概率

　　定义　设 $A$、$B$ 是两个事件，且 $P(A) > 0$，称

$$\begin{equation} P(B|A) = \frac{P(AB)}{P(A)} \end{equation}$$

为事件 $A$ 发生的条件下事件 $B$ 发生的条件概率。

　　条件概率 $P(\cdot|A)$ 符合概率定义中的三个条件，即

1. 非负性：对于每一事件 $B$，有 $P(B|A) \geq 0$
2. 规范性：对于必然事件 $S$，有 $P(S|A) = 1$
3. 可列可加性：设 $B_1,B_2,\cdots$ 是两两互不相容的事件，则有

$$\begin{equation} P(\bigcup\limits_{i=1}{\infty}B_i|A) = \sum_{i=1}^{\infty}P(B_i|A) \end{equation}$$

　　3.2 中概率的一些重要结果都适用于条件概率，例如对于任意事件 $B_1$，$B_2$ 有

$$\begin{equation} P(B_1 \cup B_2|A) = P(B_1|A) + P(B_2|A) – P(B_1B_2|A) \end{equation}$$

5.2. 乘法定理

　　由条件概率定义，可得下述定理：

　　乘法定理　设 $P(A) > 0$，则有

$$\begin{equation} P(AB) = P(B|A)P(A) \end{equation}$$

上式称为乘法公式。

　　一般地，设 $A_1,A_2,\cdots,A_n$ 为 $n$ 个事件，$n \geq 2$，且 $P(A_1 A_2 \cdots A_{n-1} > 0)$，则有

$$\begin{equation} P(A_1,A_2,\cdots,A_n) = P(A_n|A_1,A_2,\cdots,A_{n-1})P(A_{n-1}|A_1,A_2,\cdots,A_{n-2}) \cdots P(A_2|A_1) P(A_1) \end{equation}$$

5.3. 全概率公式和贝叶斯公式

　　定义　设 $S$ 为试验 $E$ 的样本空间，$B_1,B_2,\cdots B_n$ 为 $E$ 的一组事件，若

（i）$B_iB_j = \varnothing, \; i \neq j, \; i, j = 1,2,\cdots,n$
（ii）$B_1 \cup B_2 \cup \cdots \cup B_n = S_n$

则称 $B_1,B_2,\cdots B_n$ 为样本空间 $S$ 的一个划分。

　　若 $B_1,B_2,\cdots B_n$ 是样本空间的一个划分，则对于每次试验，事件 $B_1,B_2,\cdots B_n$ 中必有且仅有一个发生。

　　定理　设试验 $E$ 的样本空间为 $S$，$A$ 为 $E$ 的事件，$B_1,B_2,\cdots B_n$ 为 $S$ 的一个划分，且 $P(B_i) > 0$（$i = 1,2,\cdots,n$），则

$$\begin{equation} P(A) = P(A|B_1)P(B_1) + P(A|B_2)P(B_2) + \cdots + P(A|B_n)P(B_n) \end{equation}$$

上式称为 全概率公式。

　　在很多问题中 $P(A)$ 不易直接求得，但却容易找到 $S$ 的一个划分 $B_1,B_2,\cdots B_n$，且 $P(B_i)$ 和 $P(A|B_i)$ 或为已知，或容易求得，那么就可以根据上式求得 $P(A)$。

　　定理　设试验 $E$ 的样本空间为 $S$，$A$ 为 $E$ 的事件，$B_1,B_2,\cdots B_n$ 为 $S$ 的一个划分，且 $P(A) >0$，$P(B_i) > 0$（$i = 1,2,\cdots,n$），则

$$\begin{equation} P(B_i|A) = \frac{P(A|B_i)P(B_i)}{\sum_{j=1}^{n}P(A|B_j)P(B_j)}, \; i = 1,2,\cdots,n \end{equation}$$

上式称为贝叶斯（Bayes）公式。

　　证　由条件概率的定义和全概率公式得

$$\begin{equation} P(B_i|A) = \frac{P(B_iA)}{P(A)} = \frac{P(A|B_i)P(B_i)}{\sum_{j=1}^{n}P(A|B_j)P(B_j)}, \; i = 1,2,\cdots,n \end{equation}$$

6. 独立性

　　定义　设 $A$，$B$ 是两事件，如果满足等式

$$\begin{equation} P(AB) = P(A)P(B) \tag{6.1} \end{equation}$$

则称事件 $A$，$B$ 相互独立，简称 $A$，$B$ 独立。

　　若 $P(A) > 0$，$P(B) > 0$，则 $A$，$B$ 相互独立与 $A$，$B$ 互不相容不能同时成立。

　　定理一　设 $A$，$B$ 是两事件，且 $P(A) > 0$。若 $A$，$B$ 相互独立，则 $P(B|A) = P(B)$。反之亦然。

　　定理二　若事件 $A$，$B$ 相互独立，则下列各对事件也相互独立：$A$ 与 $\bar B$，$\bar A$ 与 $B$，$\bar A$ 与 $\bar B$。

　　定义　设 $A$，$B$，$C$ 是三个事件，如果满足等式

$$\begin{equation} P(AB) = P(A)P(B) \\ P(BC) = P(B)P(C) \\ P(AC) = P(A)P(C) \\ P(AAB) = P(A)P(B)P(C) \end{equation}$$

则称事件 $A$，$B$，$C$ 相互独立。

　　一般，设 $A_1,A_2,\cdots,A_n$ 是 $n$（$n \geq 2$）个事件，如果对于其中人气 $2$ 个，任意 $3$ 个，$\cdots$，任意 $n$ 个事件的积事件的概率，都等于各事件概率之积，则称事件 $A_1,A_2,\cdots,A_n$ 相互独立。

　　由定义，可以得到一下两个推论，

1. 若事件 $A_1,A_2,\cdots,A_n$（$n \geq 2$）相互独立，则其中任意 $k$ （$2 \leq k \leq n$）个事件也是相互独立的。
2. 若事件 $A_1,A_2,\cdots,A_n$（$n \geq 2$）相互独立，则将 $A_1,A_2,\cdots,A_n$ 中任意多个事件换成它们各自的对立事件，所得的 $n$ 个事件仍相互独立。