数理统计 Cheat Sheet 7:估计量的评选标准

  使用不同的估计方法对同一未知参数进行估计,可能会得到不同的估计量。原则上任何统计量都可以作为未知参数的估计量,通常使用如下的标准来评价统计量的质量。

1. 无偏性

  设 $X_1, X_2, \cdots, X_n$ 是总体 $X$ 的一个样本,$\theta \in \Theta$ 是包含在总体 $X$ 的分布中的待估参数,$\Theta$ 是 $\theta$ 的取值范围。

  无偏性 若估计量 $\hat\theta = \hat\theta(X_1, X_2, \cdots, X_n)$ 的数学期望 $E(\hat\theta)$ 存在,且对于任意 $\theta \in \Theta$ 有

\begin{equation}
E(\hat\theta) = \theta \tag{1}
\end{equation}

则称 $\hat\theta$ 是 $\theta$ 的无偏估计量。

  称 $E(\hat\theta) – \theta$ 为以 $\hat\theta$ 作为 $\theta$ 的估计的系统误差,无偏估计的实际意义就是无系统误差。一个未知参数可以有不同的无偏估计量。

  设总体 $X$ 的 $k$ 阶矩 $\mu_k = E(X^k)$($k \geq 1$)存在,$X_1, X_2, \cdots, X_n$ 是 $X$ 的一个样本,则由 $X_1, X_2, \cdots, X_n$ 与 $X$ 同分布,有

\begin{equation}
E(X_i^k) = E(X^k) = \mu_k, \quad i = 1, 2, \cdots, n
\end{equation}

\begin{equation}
E(A_k) = \frac{1}{n} \sum\limits_{i=1}^{n} X_i^k = \mu_k
\end{equation}

可见 $k$ 阶样本矩 $A_k = \frac{1}{n} \sum\limits_{i=1}^{n} X_i^k$ 是 $k$ 阶总体矩 $\mu_k$ 的无偏估计量。

2. 有效性

  对于参数 $\theta$ 的两个无偏估计量 $\hat\theta_1$ 和 $\hat\theta_2$,如果在样本容量 $n$ 相同的情况下,$\hat\theta_1$ 的观察值较 $\hat\theta_2$ 更密集地在真值 $\theta$ 附近,也就是方差较小,则认为 $\hat\theta_1$ 比 $\hat\theta_2$ 更理想。也就是说,无偏估计以方差小者为好。于是有如下评价标准:

  有效性 设 $\hat\theta_1 = \hat\theta_1(X_1, X_2, \cdots, X_n)$ 与 $\hat\theta_2 = \hat\theta_1(X_1, X_2, \cdots, X_n)$ 都是 $\theta$ 的无偏估计量,若对于任意 $\theta \in \Theta$,有

\begin{equation}
D(\hat\theta_1) \leq D(\hat\theta_2)
\end{equation}

且至少对于某一个 $\theta \in \Theta$ 上式中的不等号成立,则称 $\hat\theta_1$ 较 $\hat\theta_2$ 有效

3. 相合性

  无偏性和有效性都是在样本容量 $n$ 固定的前提下提出的。对于一个估计量,我们希望它的值随着样本容量的增大能够稳定与的待估参数的真值,于是有如下的评价标准:

  相合性 设 $\hat\theta(X_1, X_2, \cdots, X_n)$ 为参数 $\theta$ 的估计量,若对于任意 $\theta \in \Theta$,当 $n \rightarrow \infty$ 时,$\hat\theta(X_1, X_2, \cdots, X_n)$ 依概率收敛于 $\theta$,则称 $\hat\theta$ 为 $\theta$ 的相合估计量。即若对于任意 $\theta \in \Theta$ 都满足:对于任意 $\varepsilon > 0$,有

\begin{equation}
\lim_{n \rightarrow \infty} P\{ |\hat\theta – \theta| < \varepsilon \} = 1
\end{equation}

则称 $\hat\theta$ 是 $\theta$ 的相合估计量。

  由前文,样本的 $k$($k \geq 1$)阶矩是总体 $X$ 的 $k$ 阶矩 $\mu_k = E(X^k)$ 的相合估计量,进而若待估参数 $\theta = g(\mu_1, \mu_2, \cdots, \mu_k)$,其中 $g$ 为连续函数,则 $\theta$ 的矩估计量 $\hat\theta = g(\hat\mu_1, \hat\mu_2, \cdots, \hat\mu_k)$ = g(A_1, A_2, \cdots, A_k) 是 $\theta$ 的相合估计量。

  由最大似然估计法得到的估计量,在一定条件下也具有相合性。

Leave a Comment

电子邮件地址不会被公开。 必填项已用*标注