数理统计 Cheat Sheet 5：正态总体样本均值与方差的分布
对于任意分布的总体 $X$，设其均值和方差均存在，分别为 $\mu$ 和 $\sigma^2$；$X_1, X_2, \cdots, X_n$ 是来自 $X$ 的一个样本，$\overline{X}$ 和 $S^2$ 分别为样本均值和样本方差，则有
\begin{equation}
E(\overline{X}) = \mu, \quad D(\overline{X}) = \sigma^2 / n \tag{1}
\end{equation}
且有
\begin{align}
E(S^2) &= E\Big[ \frac{1}{n – 1} (\sum_{i=1}^{n} X_i^2 – n\overline{X}^2) \Big] \\
&= \frac{1}{n – 1} [\sum_{i=1}^{n} E(X_i^2) – nE(\overline{X}^2)] \\
&= \frac{1}{n – 1} [\sum_{i=1}^{n} (\sigma^2 + \mu^2) – n(\sigma^2 / n + \mu^2)] \\
&= \sigma^2 \tag{2}
\end{align}
式 $(2)$ 说明，$S^2$ 是 $\sigma^2$ 的无偏估计。
设 $X \sim N(\mu, \sigma^2)$，此时 $\overline{X} = \frac{1}{n} \sum\limits_{i=1}^{n} X_i$ 也服从正态分布。
定理一 设 $X_1, X_2, \cdots, X_n$ 是来自正态总体 $N(\mu, \sigma^2)$ 的样本，$\overline{X}$ 是样本均值，则有
\begin{equation}
\overline{X} \sim N(\mu, \sigma^2 / n) \tag{3}
\end{equation}
对于正态总体 $N(\mu, \sigma^2)$ 的样本均值 $\overline{X}$ 和样本方差 $S^2$，有以下两个重要的定理。
定理二 设 $X_1, X_2, \cdots, X_n$ 是来自总体 $N(\mu, \sigma^2)$ 的样本，$\overline{X}$ 和 $\sigma^2$ 分别是样本均值和样本方差，则有
- $\frac{(n – 1)S^2}{\sigma^2} \sim \chi^2(n – 1)$；
- $\overline{X}$ 和 $S^2$ 相互独立。
由定理一、定理二，有
\begin{equation}
\frac{\overline{X} – \mu}{\sigma / \sqrt{n}} \sim N(0, 1), \quad \frac{(n – 1) S^2}{\sigma^2} \sim \chi^2(n – 1)
\end{equation}
由 $t$ 分布的定义，有
\begin{equation}
\frac{\overline{X} – \mu}{\sigma / \sqrt{n}} \Big/ \sqrt{\frac{(n – 1) S^2}{\sigma^2} / (n – 1)} \sim t(n – 1)
\end{equation}
于是有如下定理成立：
定理三 设 $X_1, X_2, \cdots, X_n$ 是来自正态总体 $N(\mu, \sigma^2)$ 的样本，$\overline{X}$ 和 $S^2$ 分别是样本均值和样本方差，则有
\begin{equation}
\frac{\overline{X} – \mu}{S / \sqrt{n}} \sim t(n – 1) \tag{4}
\end{equation}
对于两个正态总体的样本均值和样本方差，有如下定理：
定理四 设 $X_1, X_2, \cdots, X_n$ 和 $Y_1, Y_2, \cdots, Y_n$ 分别是来自正态总体 $N(\mu_1, \sigma_1^2)$ 和 $N(\mu_2, \sigma_2^2)$ 的样本，且这两个样本相互独立。设 $\overline{X} = \frac{1}{n} \sum\limits_{i=1}^{n} X_i$，$\overline{Y} = \frac{1}{n} \sum\limits_{i=1}^{n} Y_i$ 分别是这两个样本的样本均值，$S_1^2 = \frac{1}{n_1 – 1} \sum\limits_{i=1}^{n} (X_i – \overline{X})^2$，$S_2^2 = \frac{1}{n_2 – 1} \sum\limits_{i=1}^{n} (Y_i – \overline{Y})^2$ 分别是这两个样本的样本方差，则有
- $\frac{S_1^2 / S_2^2}{\sigma_1^2 / \sigma_2^2} \sim F(n_1 – 1, n_2 – 1)$；
- 当 $\sigma_1^2 = \sigma_2^2 = \sigma^2$ 时，
\begin{equation}
\frac{(\overline{X} – \overline{Y}) – (\mu_1 – \mu_2)}{S_w \sqrt{\frac{1}{n_1} + \frac{1}{n_2}}} \sim t(n_1 + n_2 – 2)
\end{equation}
其中
\begin{equation}
S_w = \frac{(n_1 – 1)S_1^2 + (n_2 – 1)S_2^2}{n_1 + n_2 – 2}, \quad S_w = \sqrt{S_w^2}
\end{equation}