数理统计 Cheat Sheet 5：正态总体样本均值与方差的分布

Author: nex3z 2019-04-11

　　对于任意分布的总体 $X$，设其均值和方差均存在，分别为 $\mu$ 和 $\sigma^2$；$X_1, X_2, \cdots, X_n$ 是来自 $X$ 的一个样本，$\overline{X}$ 和 $S^2$ 分别为样本均值和样本方差，则有

$$\begin{equation} E(\overline{X}) = \mu, \quad D(\overline{X}) = \sigma^2 / n \tag{1} \end{equation}$$

　　且有

$$\begin{align} E(S^2) &= E\Big[ \frac{1}{n – 1} (\sum_{i=1}^{n} X_i^2 – n\overline{X}^2) \Big] \\ &= \frac{1}{n – 1} [\sum_{i=1}^{n} E(X_i^2) – nE(\overline{X}^2)] \\ &= \frac{1}{n – 1} [\sum_{i=1}^{n} (\sigma^2 + \mu^2) – n(\sigma^2 / n + \mu^2)] \\ &= \sigma^2 \tag{2} \end{align}$$

式 $(2)$ 说明，$S^2$ 是 $\sigma^2$ 的无偏估计。

　　设 $X \sim N(\mu, \sigma^2)$，此时 $\overline{X} = \frac{1}{n} \sum\limits_{i=1}^{n} X_i$ 也服从正态分布。

　　定理一　设 $X_1, X_2, \cdots, X_n$ 是来自正态总体 $N(\mu, \sigma^2)$ 的样本，$\overline{X}$ 是样本均值，则有

$$\begin{equation} \overline{X} \sim N(\mu, \sigma^2 / n) \tag{3} \end{equation}$$

　　对于正态总体 $N(\mu, \sigma^2)$ 的样本均值 $\overline{X}$ 和样本方差 $S^2$，有以下两个重要的定理。

　　定理二　设 $X_1, X_2, \cdots, X_n$ 是来自总体 $N(\mu, \sigma^2)$ 的样本，$\overline{X}$ 和 $\sigma^2$ 分别是样本均值和样本方差，则有

1. $\frac{(n – 1)S^2}{\sigma^2} \sim \chi^2(n – 1)$；
2. $\overline{X}$ 和 $S^2$ 相互独立。

　　由定理一、定理二，有

$$\begin{equation} \frac{\overline{X} – \mu}{\sigma / \sqrt{n}} \sim N(0, 1), \quad \frac{(n – 1) S^2}{\sigma^2} \sim \chi^2(n – 1) \end{equation}$$

由 $t$ 分布的定义，有

$$\begin{equation} \frac{\overline{X} – \mu}{\sigma / \sqrt{n}} \Big/ \sqrt{\frac{(n – 1) S^2}{\sigma^2} / (n – 1)} \sim t(n – 1) \end{equation}$$

于是有如下定理成立：

　　定理三　设 $X_1, X_2, \cdots, X_n$ 是来自正态总体 $N(\mu, \sigma^2)$ 的样本，$\overline{X}$ 和 $S^2$ 分别是样本均值和样本方差，则有

$$\begin{equation} \frac{\overline{X} – \mu}{S / \sqrt{n}} \sim t(n – 1) \tag{4} \end{equation}$$

　　对于两个正态总体的样本均值和样本方差，有如下定理：

　　定理四　设 $X_1, X_2, \cdots, X_n$ 和 $Y_1, Y_2, \cdots, Y_n$ 分别是来自正态总体 $N(\mu_1, \sigma_1^2)$ 和 $N(\mu_2, \sigma_2^2)$ 的样本，且这两个样本相互独立。设 $\overline{X} = \frac{1}{n} \sum\limits_{i=1}^{n} X_i$，$\overline{Y} = \frac{1}{n} \sum\limits_{i=1}^{n} Y_i$ 分别是这两个样本的样本均值，$S_1^2 = \frac{1}{n_1 – 1} \sum\limits_{i=1}^{n} (X_i – \overline{X})^2$，$S_2^2 = \frac{1}{n_2 – 1} \sum\limits_{i=1}^{n} (Y_i – \overline{Y})^2$ 分别是这两个样本的样本方差，则有

1. $\frac{S_1^2 / S_2^2}{\sigma_1^2 / \sigma_2^2} \sim F(n_1 – 1, n_2 – 1)$；
2. 当 $\sigma_1^2 = \sigma_2^2 = \sigma^2$ 时，

$$\begin{equation} \frac{(\overline{X} – \overline{Y}) – (\mu_1 – \mu_2)}{S_w \sqrt{\frac{1}{n_1} + \frac{1}{n_2}}} \sim t(n_1 + n_2 – 2) \end{equation}$$

其中

$$\begin{equation} S_w = \frac{(n_1 – 1)S_1^2 + (n_2 – 1)S_2^2}{n_1 + n_2 – 2}, \quad S_w = \sqrt{S_w^2} \end{equation}$$