数理统计 Cheat Sheet 3：样本及抽样分布

Author: nex3z 2019-04-10

1. 随机样本

　　定义　设 $X$ 是具有分布函数 $F$ 的随机变量，若 $X_1, X_2, \cdots, X_n$ 是具有同一分布函数 $F$ 的、相互独立的随机变量，则称 $X_1, X_2, \cdots, X_n$ 为从分布函数 $F$（或总体 $F$、或总体 $X$）得到的容量为 $n$ 的简单随机样本，简称样本。它们的观察值 $x_1, x_2, \cdots, x_n$ 称为样本值，又称为 $X$ 的 $n$ 个独立的观察值。

　　也可以将样本看成是一个随机向量，写成 $(X_1, X_2, \cdots, X_n)$，此时样本值相应地写成 $(x_1, x_2, \cdots, x_n)$。若 $(x_1, x_2, \cdots, x_n)$ 和 $(y_1, y_2, \cdots, y_n)$ 都是相应于样本 $(X_1, X_2, \cdots, X_n)$ 的样本值，一般来说它们是不相同的。

　　由定义得，若 $X_1, X_2, \cdots, X_n$ 为 $F$ 的一个样本，则 $X_1, X_2, \cdots, X_n$ 相互独立，且它们的分布函数都是 $F$，所以 $(X_1, X_2, \cdots, X_n)$ 的分布函数为

$$\begin{equation} F^*(x_1, x_2, \cdots, x_n) = \prod_{i=1}^n F(x_i) \end{equation}$$

又若 $X$ 具有概率密度 $f$，则 $(X_1, X_2, \cdots, X_n)$ 的概率密度为

$$\begin{equation} f^*(x_1, x_2, \cdots, x_n) = \prod_{i=1}^n f(x_i) \end{equation}$$

2. 抽样分布

　　样本是进行统计推断的依据。在应用时，往往不是使用样本本身，而是针对不同的问题构造适当函数，利用这些样本的函数进行统计推断。

　　定义　设 $X_1, X_2, \cdots, X_n$ 是来自总体 $X$ 的一个样本，$g(X_1, X_2, \cdots, X_n)$ 是 $X_1, X_2, \cdots, X_n$ 的函数，若 $g$ 中不含有未知参数，则称 $g(X_1, X_2, \cdots, X_n)$ 是一统计量。

　　统计量 $g(X_1, X_2, \cdots, X_n)$ 是随机变量 $X_1, X_2, \cdots, X_n$ 的函数，因此统计量也是一个随机变量。设 $x_1, x_2, \cdots, x_n$ 是相应于样本 $X_1, X_2, \cdots, X_n$ 的样本值，则称 $g(x_1, x_2, \cdots, x_n)$ 是 $g(X_1, X_2, \cdots, X_n)$ 的观察值。统计量的分布称为抽样分布。

　　设 $X_1, X_2, \cdots, X_n$ 是来自总体 $X$ 的一个样本，$x_1, x_2, \cdots, x_n$ 是这一样本的观察值，则有以下常用统计量的定义

• 样本平均值

$$\begin{equation} \overline{X} = \frac{1}{n} \sum\limits_{i=1}^{n} X_i \end{equation}$$

• 样本方差

$$\begin{equation} S^2 = \frac{1}{n – 1} \sum\limits_{i=1}^{n} (X_i – \overline{X})^2 = \frac{1}{n – 1}\Big( \sum\limits_{i=1}^{n} X_i^2 – n\overline{X}^2 \Big) \end{equation}$$

• 样本标准差

$$\begin{equation} S = \sqrt{S^2} = \sqrt{\frac{1}{n – 1} \sum\limits_{i=1}^{n} (X_i – \overline{X})^2} \end{equation}$$

• 样本 $k$ 阶（原点）矩

$$\begin{equation} A_k = \frac{1}{n} \sum\limits_{i=1}^{n} X_i^k, \quad k = 1, 2, \cdots \end{equation}$$

• 样本 $k$ 阶中心矩

$$\begin{equation} B_k = \frac{1}{n} \sum\limits_{i=1}^{n} (X_i – \overline{X})^k, \quad k = 2, 3, \cdots \end{equation}$$

它们的观察值分别为

$$\begin{equation} \overline{x} = \frac{1}{n} \sum\limits_{i=1}^{n} x_i \end{equation}$$

$$\begin{equation} s^2 = \frac{1}{n – 1} \sum\limits_{i=1}^{n} (x_i – \overline{x})^2 = \frac{1}{n – 1}\Big( \sum\limits_{i=1}^{n} x_i^2 – n\overline{x}^2 \Big) \end{equation}$$

$$\begin{equation} s = \sqrt{s^2} = \sqrt{\frac{1}{n – 1} \sum\limits_{i=1}^{n} (x_i – \overline{x})^2} \end{equation}$$

$$\begin{equation} a_k = \frac{1}{n} \sum\limits_{i=1}^{n} x_i^k, \quad k = 1, 2, \cdots \end{equation}$$

$$\begin{equation} b_k = \frac{1}{n} \sum\limits_{i=1}^{n} (x_i – \overline{x})^k, \quad k = 2, 3, \cdots \end{equation}$$

　　若总体 $X$ 的 $k$ 阶矩 $E(X^k) \overset{记成}{=} \mu_k$ 存在，则当 $n \rightarrow \infty$ 时，$A_k \overset{P}{\rightarrow} \mu_k, k = 1, 2, \cdots$。这是因为 $X_1, X_2, \cdots, X_n$ 独立且与 $X$ 同分布，所以 $X_1^k, X_2^k, \cdots, X_n^k$ 独立且与 $X^k$ 同分布，故有

$$\begin{equation} E(X_1^k) = E(X_2^k) = \cdots = E(X_n^k) = \mu_k \end{equation}$$

从而由辛钦大数定理可知

$$\begin{equation} A_k = \frac{1}{n} \sum\limits_{i=1}^{n} X_i^k \overset{P}{\rightarrow} \mu_k, \quad k = 1, 2, \cdots \end{equation}$$

进而由依概率收敛的性质可知，对于连续函数 $g$，有

$$\begin{equation} g(A_1, A_2, \cdots, A_k) \overset{P}{\rightarrow} g(\mu_1, \mu_2, \cdots, \mu_k) \end{equation}$$

这是矩估计法的理论依据。

　　经验分布函数　设 $X_1, X_2, \cdots, X_n$ 是总体 $F$ 的一个样本，用 $S(x)$，$-\infty < x < \infty$ 表示 $X_1, X_2, \cdots, X_n$ 中不大于 $x$ 的随机变量的个数。定义经验分布函数为

$$\begin{equation} F_n(x) = \frac{1}{n} S(x), \quad -\infty < x < \infty \end{equation}$$

经验分布函数 $F_n(x)$ 是与总体分布函数 $F(x)$ 相应的统计量。从一个样本值中可以很容易地得到经验分布函数的观察值。

　　一般地，设 $x_1, x_2, \cdots, x_n$ 是总体 $F$ 的一个容量为 $n$ 的样本值，现将 $x_1, x_2, \cdots, x_n$ 按从小到大的顺序排列，并重新编号，设为

$$\begin{equation} x_{(1)} \leq x_{(2)} \leq \cdots \leq x_{(n)} \end{equation}$$

则经验分布函数 $F_n(x)$ 的观察值为

$$\begin{equation} F_n(x) = \begin{cases} 0, & 若 \; x < x_{(1)} \\ \frac{k}{n}, & 若 x_{(k)} \leq x < x_{(k + 1)}, \quad k = 1, 2, \cdots, n – 1 \\ 1, & 若 \; x \geq x_{(n)} \end{cases} \end{equation}$$

　　对于经验分布函数 $F_n(x)$，格里汶科（Glivenko）证明对于任一实数 $x$，当 $n \rightarrow \infty$ 时，$F_n(x)$ 以概率 $1$ 一致收敛于分布函数 $F(x)$，即

$$\begin{equation} P\{ \lim_{n \rightarrow \infty} \sup_{-\infty < x < \infty} |F_n(x) – F(x)| = 0 \} = 1 \end{equation}$$

因此，对于任一实数 $x$，当 $n$ 充分大时，经验分布函数的任一个观察值 $F_n(x)$ 与总体分布函数 $F(x)$ 只有微小的差别，从而在实际上可以当做 $F(x)$ 来使用。