数理统计 Cheat Sheet 7：估计量的评选标准

Author: nex3z 2019-04-14

　　使用不同的估计方法对同一未知参数进行估计，可能会得到不同的估计量。原则上任何统计量都可以作为未知参数的估计量，通常使用如下的标准来评价统计量的质量。

1. 无偏性

　　设 $X_1, X_2, \cdots, X_n$ 是总体 $X$ 的一个样本，$\theta \in \Theta$ 是包含在总体 $X$ 的分布中的待估参数，$\Theta$ 是 $\theta$ 的取值范围。

　　无偏性　若估计量 $\hat\theta = \hat\theta(X_1, X_2, \cdots, X_n)$ 的数学期望 $E(\hat\theta)$ 存在，且对于任意 $\theta \in \Theta$ 有

$$\begin{equation} E(\hat\theta) = \theta \tag{1} \end{equation}$$

则称 $\hat\theta$ 是 $\theta$ 的无偏估计量。

　　称 $E(\hat\theta) – \theta$ 为以 $\hat\theta$ 作为 $\theta$ 的估计的系统误差，无偏估计的实际意义就是无系统误差。一个未知参数可以有不同的无偏估计量。

　　设总体 $X$ 的 $k$ 阶矩 $\mu_k = E(X^k)$（$k \geq 1$）存在，$X_1, X_2, \cdots, X_n$ 是 $X$ 的一个样本，则由 $X_1, X_2, \cdots, X_n$ 与 $X$ 同分布，有

$$\begin{equation} E(X_i^k) = E(X^k) = \mu_k, \quad i = 1, 2, \cdots, n \end{equation}$$

即

$$\begin{equation} E(A_k) = \frac{1}{n} \sum\limits_{i=1}^{n} X_i^k = \mu_k \end{equation}$$

可见 $k$ 阶样本矩 $A_k = \frac{1}{n} \sum\limits_{i=1}^{n} X_i^k$ 是 $k$ 阶总体矩 $\mu_k$ 的无偏估计量。

2. 有效性

　　对于参数 $\theta$ 的两个无偏估计量 $\hat\theta_1$ 和 $\hat\theta_2$，如果在样本容量 $n$ 相同的情况下，$\hat\theta_1$ 的观察值较 $\hat\theta_2$ 更密集地在真值 $\theta$ 附近，也就是方差较小，则认为 $\hat\theta_1$ 比 $\hat\theta_2$ 更理想。也就是说，无偏估计以方差小者为好。于是有如下评价标准：

　　有效性　设 $\hat\theta_1 = \hat\theta_1(X_1, X_2, \cdots, X_n)$ 与 $\hat\theta_2 = \hat\theta_1(X_1, X_2, \cdots, X_n)$ 都是 $\theta$ 的无偏估计量，若对于任意 $\theta \in \Theta$，有

$$\begin{equation} D(\hat\theta_1) \leq D(\hat\theta_2) \end{equation}$$

且至少对于某一个 $\theta \in \Theta$ 上式中的不等号成立，则称 $\hat\theta_1$ 较 $\hat\theta_2$ 有效。

3. 相合性

　　无偏性和有效性都是在样本容量 $n$ 固定的前提下提出的。对于一个估计量，我们希望它的值随着样本容量的增大能够稳定与的待估参数的真值，于是有如下的评价标准：

　　相合性　设 $\hat\theta(X_1, X_2, \cdots, X_n)$ 为参数 $\theta$ 的估计量，若对于任意 $\theta \in \Theta$，当 $n \rightarrow \infty$ 时，$\hat\theta(X_1, X_2, \cdots, X_n)$ 依概率收敛于 $\theta$，则称 $\hat\theta$ 为 $\theta$ 的相合估计量。即若对于任意 $\theta \in \Theta$ 都满足：对于任意 $\varepsilon > 0$，有

$$\begin{equation} \lim_{n \rightarrow \infty} P\{ |\hat\theta – \theta| < \varepsilon \} = 1 \end{equation}$$

则称 $\hat\theta$ 是 $\theta$ 的相合估计量。

　　由前文，样本的 $k$（$k \geq 1$）阶矩是总体 $X$ 的 $k$ 阶矩 $\mu_k = E(X^k)$ 的相合估计量，进而若待估参数 $\theta = g(\mu_1, \mu_2, \cdots, \mu_k)$，其中 $g$ 为连续函数，则 $\theta$ 的矩估计量 $\hat\theta = g(\hat\mu_1, \hat\mu_2, \cdots, \hat\mu_k)$ = g(A_1, A_2, \cdots, A_k) 是 $\theta$ 的相合估计量。

　　由最大似然估计法得到的估计量，在一定条件下也具有相合性。