概率论 Cheat Sheet 1:基本概念

  本系列整理自《概率论与数理统计(第四版)》(盛骤 等,高等教育出版社)一书,包含关键概念和推导,便于随查随用。

1. 随机试验

  随机试验具有以下特点:

  1. 可以在相同的条件下重复进行。
  2. 每次试验的可能结果不只有一个,并且能事先明确试验的所有可能结果。
  3. 进行一次试验之前不能确定哪一个结果会出现。

2. 样本空间、随机事件

2.1. 样本空间

  将随机试验 $E$ 的所有可能结果组成的集合称为 $E$ 的样本空间,记为 $S$。样本空间的元素,即 $E$ 的每个结果,称为样本点

2.2. 随机事件

  称试验 $E$ 的样本空间 $S$ 的子集为 $E$ 的随机事件,简称事件。在每次试验中,当且仅当这一子集中的一个样本点出现时,称这一事件发生

  由一个样本点组成的单点集称为基本事件

  样本空间 $S$ 包含所有的样本点,它是 $S$ 自身的子集,在每次试验中总是发生,$S$ 称为必然事件

  空集 $\varnothing$ 不包含任何样本点,它也作为样本空间的子集,在每次试验中都不发生,$\varnothing$ 称为不可能事件

2.3. 事件间的关系与事件的运算

  设试验 $E$ 的样本空间为 $S$,而 $A$,$B$,$A_k$ $(k=1,2,…)$ 是 $S$ 的子集。

  1. 若 $A \subset B$,则称事件 $B$ 包含事件 $A$,事件 $A$ 发生必然导致事件 $B$ 发生。若 $A \subset B$ 且 $B \subset A$,即 $A = B$,则称事件 $A$ 与事件 $B$ 相等。

  2. 事件 $A \cup B = \{x | x \in A \; 或 \; x \in B \}$ 称为事件 $A$ 与事件 $B$ 的和事件。当且仅当 $A$,$B$ 中至少有一个发生时,事件 $A \cup B$ 发生。
  类似地,称 $\bigcup\limits_{k=1}^{n}A_k$ 为 $n$ 个事件 $A_1$,$A_2$,$\cdots$,$A_n$ 的和事件;称 $\bigcup\limits_{k=1}^{\infty}A_k$ 为可列个事件 $A_1$,$A_2$,$\cdots$ 的和事件。

  3. 事件 $A \cap B = \{x | x \in A \; 且 \; x \in B \}$ 称为事件 $A$ 与事件 $B$ 的积事件。当且仅当 $A$,$B$ 同时发生时,事件 $A \cap B$ 发生。$A \cap B$ 也记作 $AB$。
  类似地,称 $\bigcap\limits_{k=1}^{n}A_k$ 为 $n$ 个事件 $A_1$,$A_2$,$\cdots$,$A_n$ 的积事件;称 $\bigcap\limits_{k=1}^{\infty}A_k$ 为可列个事件 $A_1$,$A_2$,$\cdots$ 的积事件。

  4. 事件 $A – B = \{x | x \in A \; 且 \; x \notin B \}$ 称为事件 $A$ 与事件 $B$ 的差事件。当且仅当 $A$ 发生,$B$ 不发生时 $A – B$ 发生。

  5. 若 $A \cap B = \varnothing$,则称事件 $A$ 与 $B$ 是互不相容的,或互斥的。即事件 $A$ 与事件 $B$ 不能同时发生。基本事件是两两互不相容的。

  6. 若 $A \cup B = S$ 且 $A \cap B = \varnothing$,则称事件 $A$ 与事件 $B$ 互为逆事件,又称事件 $A$ 与事件 $B$ 互为对立事件。这指的是对每次试验而言,事件 $A$、$B$ 中必有一个发生,且仅有一个发生。$A$ 的对立事件记为 $\overline A$。$\overline A = S – A$。

3. 频率与概率

3.1. 频率

  定义 在相同的条件下,进行了 $n$ 次试验,在这 $n$ 次试验中,事件 $A$ 发生的次数 $n_A$ 称为事件 $A$ 发生的频数。比值 $n_A/n$ 称为事件 $A$ 发生的频率,并记成 $f_n(A)$。

  频率具有如下性质:

  1. $0 \leq f_n(A) \leq 1$;
  2. $f_n(S) = 1$
  3. 若 $A_1$,$A_2$,$\cdots$,$A_k$ 是两两互不相容的事件,则 $$f_n(A_1 \cup A_2 \cup \cdots \cup A_k) = f_n(A_1) + f_n(A_2) + \cdots + f_n(A_k)$$

3.2. 概率

  定义 设 $E$ 是随机试验,$S$ 是它的样本空间。对于 $E$ 的每一事件 $A$ 赋予一个实数,记为 $P(A)$,称为事件 $A$ 的概率,如果集合函数 $P(\cdot)$满足下列条件:

  1. 非负性:对于每一个事件 $A$,有 $P(A) \geq 0$;
  2. 规范性:对于必然事件 $S$,有 $P(S) = 1$;
  3. 可列可加性:设 $A_1$,$A_2$,$\cdots$ 是两两互不相容的事件,即对于 $A_iA_j = \varnothing, \; i \neq j, \; i,j = 1,2,\cdots$,有

\begin{equation}
P(A_1 \cup A_2 \cup \cdots) = P(A_1) + P(A_2) + \cdots
\end{equation}

  概率有以下性质。

  性质 i $P(\varnothing) = 0$。

  性质 ii (有限可加性)若$A_1$,$A_2$,$\cdots$,$A_n$ 是两两互不相容的事件,则有

\begin{equation}
P(A_1 \cup A_2 \cup \cdots \cup A_n) = P(A_1) + P(A_2) + \cdots + P(A_n)
\end{equation}

  性质 iii 设 $A$,$B$ 是两个事件,若 $A \subset B$,则有

\begin{equation}
P(B – A) = P(B) – P(A) \\
P(B) \geq p(A)
\end{equation}

  性质 iv 对于任一事件 $A$,

\begin{equation}
P(A) \leq 1
\end{equation}

  性质 v (逆事件的概率)对于任一事件 $A$,有

\begin{equation}
P(\overline A) = 1 – P(A)
\end{equation}

  性质 vi (加法公式)对于任意两事件 $A$,$B$ 有

\begin{equation}
P(A \cup B) = P(A) + P(B) – P(AB)
\end{equation}

4. 等可能概型(古典概型)

  等可能概型古典概型)具有以下特的点:

  1. 试验的样本空间只包含有限个元素;
  2. 试验中每个基本事件发生的可能性相同。

  设试验的样本空间为 $S = \{e_1, e_2, \cdots, e_n\}$, 若事件 $A$ 包含 $k$ 个基本事件,即 $A = e_{i_1} \cup e_{i_2} \cup \cdots \cup e_{i_k}$,这里 $i_1, i_2, \cdots ,i_k$ 是 $1,2,\cdots,n$ 中某 $k$ 个不同的数,则有

\begin{equation}
P(A) = \sum_{j=1}^{k}P(\{e_{i_j}\}) = \frac{k}{n} = \frac{A包含的基本事件数}{S中基本事件的总数}
\end{equation}

  超几何分布:设有 $N$ 件产品,其中有 $D$ 件次品,从中任取 $n$ 件,恰有 $k$ ($k \leq D$)件次品的概率为

\begin{equation}
p = \binom{D}{k}\binom{N-D}{n-k}/\binom{N}{n}
\end{equation}

上式即所谓超几何分布的概率公式。

  对于任意实数 $a$ 以及非负整数 $r$,定义

\begin{equation}
\binom{a}{r} = \frac{a(a-1)\cdots(a-r+1)}{r!} \\
\binom{a}{0} = 1
\end{equation}

特别地,当 $a$ 为正整数,且 $r \leq a$ 时,$\binom{a}{r}$ 即为组合数,即 $\binom{a}{r} = C_a^r$。

  实际推断原理:概率很小的事件在一次试验中实际上几乎是不发生的。

5. 条件概率

5.1. 条件概率

  定义 设 $A$、$B$ 是两个事件,且 $P(A) > 0$,称

\begin{equation}
P(B|A) = \frac{P(AB)}{P(A)}
\end{equation}

为事件 $A$ 发生的条件下事件 $B$ 发生的条件概率

  条件概率 $P(\cdot|A)$ 符合概率定义中的三个条件,即

  1. 非负性:对于每一事件 $B$,有 $P(B|A) \geq 0$
  2. 规范性:对于必然事件 $S$,有 $P(S|A) = 1$
  3. 可列可加性:设 $B_1,B_2,\cdots$ 是两两互不相容的事件,则有

\begin{equation}
P(\bigcup\limits_{i=1}{\infty}B_i|A) = \sum_{i=1}^{\infty}P(B_i|A)
\end{equation}

  3.2 中概率的一些重要结果都适用于条件概率,例如对于任意事件 $B_1$,$B_2$ 有

\begin{equation}
P(B_1 \cup B_2|A) = P(B_1|A) + P(B_2|A) – P(B_1B_2|A)
\end{equation}

5.2. 乘法定理

  由条件概率定义,可得下述定理:

  乘法定理 设 $P(A) > 0$,则有

\begin{equation}
P(AB) = P(B|A)P(A)
\end{equation}

上式称为乘法公式

  一般地,设 $A_1,A_2,\cdots,A_n$ 为 $n$ 个事件,$n \geq 2$,且 $P(A_1 A_2 \cdots A_{n-1} > 0)$,则有

\begin{equation}
P(A_1,A_2,\cdots,A_n) = P(A_n|A_1,A_2,\cdots,A_{n-1})P(A_{n-1}|A_1,A_2,\cdots,A_{n-2}) \cdots P(A_2|A_1) P(A_1)
\end{equation}

5.3. 全概率公式和贝叶斯公式

  定义 设 $S$ 为试验 $E$ 的样本空间,$B_1,B_2,\cdots B_n$ 为 $E$ 的一组事件,若

(i)$B_iB_j = \varnothing, \; i \neq j, \; i, j = 1,2,\cdots,n$
(ii)$B_1 \cup B_2 \cup \cdots \cup B_n = S_n$

则称 $B_1,B_2,\cdots B_n$ 为样本空间 $S$ 的一个划分

  若 $B_1,B_2,\cdots B_n$ 是样本空间的一个划分,则对于每次试验,事件 $B_1,B_2,\cdots B_n$ 中必有且仅有一个发生。

  定理 设试验 $E$ 的样本空间为 $S$,$A$ 为 $E$ 的事件,$B_1,B_2,\cdots B_n$ 为 $S$ 的一个划分,且 $P(B_i) > 0$($i = 1,2,\cdots,n$),则

\begin{equation}
P(A) = P(A|B_1)P(B_1) + P(A|B_2)P(B_2) + \cdots + P(A|B_n)P(B_n)
\end{equation}

上式称为 全概率公式

  在很多问题中 $P(A)$ 不易直接求得,但却容易找到 $S$ 的一个划分 $B_1,B_2,\cdots B_n$,且 $P(B_i)$ 和 $P(A|B_i)$ 或为已知,或容易求得,那么就可以根据上式求得 $P(A)$。

  定理 设试验 $E$ 的样本空间为 $S$,$A$ 为 $E$ 的事件,$B_1,B_2,\cdots B_n$ 为 $S$ 的一个划分,且 $P(A) >0$,$P(B_i) > 0$($i = 1,2,\cdots,n$),则

\begin{equation}
P(B_i|A) = \frac{P(A|B_i)P(B_i)}{\sum_{j=1}^{n}P(A|B_j)P(B_j)}, \; i = 1,2,\cdots,n
\end{equation}

上式称为贝叶斯(Bayes)公式

   由条件概率的定义和全概率公式得

\begin{equation}
P(B_i|A) = \frac{P(B_iA)}{P(A)} = \frac{P(A|B_i)P(B_i)}{\sum_{j=1}^{n}P(A|B_j)P(B_j)}, \; i = 1,2,\cdots,n
\end{equation}

6. 独立性

  定义 设 $A$,$B$ 是两事件,如果满足等式

\begin{equation}
P(AB) = P(A)P(B) \tag{6.1}
\end{equation}

则称事件 $A$,$B$ 相互独立,简称 $A$,$B$ 独立

  若 $P(A) > 0$,$P(B) > 0$,则 $A$,$B$ 相互独立与 $A$,$B$ 互不相容不能同时成立。

  定理一 设 $A$,$B$ 是两事件,且 $P(A) > 0$。若 $A$,$B$ 相互独立,则 $P(B|A) = P(B)$。反之亦然。

  定理二 若事件 $A$,$B$ 相互独立,则下列各对事件也相互独立:$A$ 与 $\bar B$,$\bar A$ 与 $B$,$\bar A$ 与 $\bar B$。

  定义 设 $A$,$B$,$C$ 是三个事件,如果满足等式

\begin{equation}
P(AB) = P(A)P(B) \\
P(BC) = P(B)P(C) \\
P(AC) = P(A)P(C) \\
P(AAB) = P(A)P(B)P(C)
\end{equation}

则称事件 $A$,$B$,$C$ 相互独立

  一般,设 $A_1,A_2,\cdots,A_n$ 是 $n$($n \geq 2$)个事件,如果对于其中人气 $2$ 个,任意 $3$ 个,$\cdots$,任意 $n$ 个事件的积事件的概率,都等于各事件概率之积,则称事件 $A_1,A_2,\cdots,A_n$ 相互独立

  由定义,可以得到一下两个推论,

  1. 若事件 $A_1,A_2,\cdots,A_n$($n \geq 2$)相互独立,则其中任意 $k$ ($2 \leq k \leq n$)个事件也是相互独立的。
  2. 若事件 $A_1,A_2,\cdots,A_n$($n \geq 2$)相互独立,则将 $A_1,A_2,\cdots,A_n$ 中任意多个事件换成它们各自的对立事件,所得的 $n$ 个事件仍相互独立。