数理统计 Cheat Sheet 3:样本及抽样分布

1. 随机样本

  定义 设 $X$ 是具有分布函数 $F$ 的随机变量,若 $X_1, X_2, \cdots, X_n$ 是具有同一分布函数 $F$ 的、相互独立的随机变量,则称 $X_1, X_2, \cdots, X_n$ 为从分布函数 $F$(或总体 $F$、或总体 $X$)得到的容量为 $n$ 的简单随机样本,简称样本。它们的观察值 $x_1, x_2, \cdots, x_n$ 称为样本值,又称为 $X$ 的 $n$ 个独立的观察值

  也可以将样本看成是一个随机向量,写成 $(X_1, X_2, \cdots, X_n)$,此时样本值相应地写成 $(x_1, x_2, \cdots, x_n)$。若 $(x_1, x_2, \cdots, x_n)$ 和 $(y_1, y_2, \cdots, y_n)$ 都是相应于样本 $(X_1, X_2, \cdots, X_n)$ 的样本值,一般来说它们是不相同的。

  由定义得,若 $X_1, X_2, \cdots, X_n$ 为 $F$ 的一个样本,则 $X_1, X_2, \cdots, X_n$ 相互独立,且它们的分布函数都是 $F$,所以 $(X_1, X_2, \cdots, X_n)$ 的分布函数为

\begin{equation}
F^*(x_1, x_2, \cdots, x_n) = \prod_{i=1}^n F(x_i)
\end{equation}

又若 $X$ 具有概率密度 $f$,则 $(X_1, X_2, \cdots, X_n)$ 的概率密度为

\begin{equation}
f^*(x_1, x_2, \cdots, x_n) = \prod_{i=1}^n f(x_i)
\end{equation}

2. 抽样分布

  样本是进行统计推断的依据。在应用时,往往不是使用样本本身,而是针对不同的问题构造适当函数,利用这些样本的函数进行统计推断。

  定义 设 $X_1, X_2, \cdots, X_n$ 是来自总体 $X$ 的一个样本,$g(X_1, X_2, \cdots, X_n)$ 是 $X_1, X_2, \cdots, X_n$ 的函数,若 $g$ 中不含有未知参数,则称 $g(X_1, X_2, \cdots, X_n)$ 是一统计量

  统计量 $g(X_1, X_2, \cdots, X_n)$ 是随机变量 $X_1, X_2, \cdots, X_n$ 的函数,因此统计量也是一个随机变量。设 $x_1, x_2, \cdots, x_n$ 是相应于样本 $X_1, X_2, \cdots, X_n$ 的样本值,则称 $g(x_1, x_2, \cdots, x_n)$ 是 $g(X_1, X_2, \cdots, X_n)$ 的观察值。统计量的分布称为抽样分布

  设 $X_1, X_2, \cdots, X_n$ 是来自总体 $X$ 的一个样本,$x_1, x_2, \cdots, x_n$ 是这一样本的观察值,则有以下常用统计量的定义

  • 样本平均值

\begin{equation}
\overline{X} = \frac{1}{n} \sum\limits_{i=1}^{n} X_i
\end{equation}

  • 样本方差

\begin{equation}
S^2 = \frac{1}{n – 1} \sum\limits_{i=1}^{n} (X_i – \overline{X})^2 = \frac{1}{n – 1}\Big( \sum\limits_{i=1}^{n} X_i^2 – n\overline{X}^2 \Big)
\end{equation}

  • 样本标准差

\begin{equation}
S = \sqrt{S^2} = \sqrt{\frac{1}{n – 1} \sum\limits_{i=1}^{n} (X_i – \overline{X})^2}
\end{equation}

  • 样本 $k$ 阶(原点)矩

\begin{equation}
A_k = \frac{1}{n} \sum\limits_{i=1}^{n} X_i^k, \quad k = 1, 2, \cdots
\end{equation}

  • 样本 $k$ 阶中心矩

\begin{equation}
B_k = \frac{1}{n} \sum\limits_{i=1}^{n} (X_i – \overline{X})^k, \quad k = 2, 3, \cdots
\end{equation}

它们的观察值分别为

\begin{equation}
\overline{x} = \frac{1}{n} \sum\limits_{i=1}^{n} x_i
\end{equation}

\begin{equation}
s^2 = \frac{1}{n – 1} \sum\limits_{i=1}^{n} (x_i – \overline{x})^2 = \frac{1}{n – 1}\Big( \sum\limits_{i=1}^{n} x_i^2 – n\overline{x}^2 \Big)
\end{equation}

\begin{equation}
s = \sqrt{s^2} = \sqrt{\frac{1}{n – 1} \sum\limits_{i=1}^{n} (x_i – \overline{x})^2}
\end{equation}

\begin{equation}
a_k = \frac{1}{n} \sum\limits_{i=1}^{n} x_i^k, \quad k = 1, 2, \cdots
\end{equation}

\begin{equation}
b_k = \frac{1}{n} \sum\limits_{i=1}^{n} (x_i – \overline{x})^k, \quad k = 2, 3, \cdots
\end{equation}

  若总体 $X$ 的 $k$ 阶矩 $E(X^k) \overset{记成}{=} \mu_k$ 存在,则当 $n \rightarrow \infty$ 时,$A_k \overset{P}{\rightarrow} \mu_k, k = 1, 2, \cdots$。这是因为 $X_1, X_2, \cdots, X_n$ 独立且与 $X$ 同分布,所以 $X_1^k, X_2^k, \cdots, X_n^k$ 独立且与 $X^k$ 同分布,故有

\begin{equation}
E(X_1^k) = E(X_2^k) = \cdots = E(X_n^k) = \mu_k
\end{equation}

从而由辛钦大数定理可知

\begin{equation}
A_k = \frac{1}{n} \sum\limits_{i=1}^{n} X_i^k \overset{P}{\rightarrow} \mu_k, \quad k = 1, 2, \cdots
\end{equation}

进而由依概率收敛的性质可知,对于连续函数 $g$,有

\begin{equation}
g(A_1, A_2, \cdots, A_k) \overset{P}{\rightarrow} g(\mu_1, \mu_2, \cdots, \mu_k)
\end{equation}

这是矩估计法的理论依据。

  经验分布函数 设 $X_1, X_2, \cdots, X_n$ 是总体 $F$ 的一个样本,用 $S(x)$,$-\infty < x < \infty$ 表示 $X_1, X_2, \cdots, X_n$ 中不大于 $x$ 的随机变量的个数。定义经验分布函数为

\begin{equation}
F_n(x) = \frac{1}{n} S(x), \quad -\infty < x < \infty
\end{equation}

经验分布函数 $F_n(x)$ 是与总体分布函数 $F(x)$ 相应的统计量。从一个样本值中可以很容易地得到经验分布函数的观察值。

  一般地,设 $x_1, x_2, \cdots, x_n$ 是总体 $F$ 的一个容量为 $n$ 的样本值,现将 $x_1, x_2, \cdots, x_n$ 按从小到大的顺序排列,并重新编号,设为

\begin{equation}
x_{(1)} \leq x_{(2)} \leq \cdots \leq x_{(n)}
\end{equation}

则经验分布函数 $F_n(x)$ 的观察值为

\begin{equation}
F_n(x) = \begin{cases}
0, & 若 \; x < x_{(1)} \\
\frac{k}{n}, & 若 x_{(k)} \leq x < x_{(k + 1)}, \quad k = 1, 2, \cdots, n – 1 \\
1, & 若 \; x \geq x_{(n)}
\end{cases}
\end{equation}

  对于经验分布函数 $F_n(x)$,格里汶科(Glivenko)证明对于任一实数 $x$,当 $n \rightarrow \infty$ 时,$F_n(x)$ 以概率 $1$ 一致收敛于分布函数 $F(x)$,即

\begin{equation}
P\{ \lim_{n \rightarrow \infty} \sup_{-\infty < x < \infty} |F_n(x) – F(x)| = 0 \} = 1
\end{equation}

因此,对于任一实数 $x$,当 $n$ 充分大时,经验分布函数的任一个观察值 $F_n(x)$ 与总体分布函数 $F(x)$ 只有微小的差别,从而在实际上可以当做 $F(x)$ 来使用。

Leave a Comment

电子邮件地址不会被公开。 必填项已用*标注