§6.4 最小方差无偏估计

依赖于

• 无显式依赖

被以下题目直接调用

• 无

正文部分

§6.4 最小方差无偏估计

1. 均方误差 设 $\hat{\theta }$ 是 $\theta$ 的一个估计（无偏的或有偏的），则称

$$\mathrm{MSE}(\hat{\theta })=E(\hat{\theta }-\theta {)}^2=\mathrm{Var}(\hat{\theta })+[E(\hat{\theta })-\theta {]}^2$$

为 $\hat{\theta }$ 的均方误差。均方误差较小意味着：$\hat{\theta }$ 不仅方差较小，而且偏差 $E(\hat{\theta })-\theta$ 也小，所以均方误差是评价点估计的一般标准。

1. 使均方误差一致最小的估计量一般是不存在的，但两个估计的优劣可用均方误差评估；
2. 在无偏估计类中使均方误差最小就是使方差最小。
3. 一致最小方差无偏估计 设 $\hat{\theta }$ 是 $\theta$ 的一个无偏估计，如果对另外任意一个 $\theta$ 的无偏估计 $\tilde{\theta }$，在参数空间 $\Theta =\{\theta \}$ 上都有

$${\mathrm{Var}}_{\theta }(\hat{\theta })\le {\mathrm{Var}}_{\theta }(\tilde{\theta }),$$

则称 $\hat{\theta }$ 是 $\theta$ 的一致最小方差无偏估计，简记为 UMVUE。

1. 判断准则 设 $\hat{\theta }=\hat{\theta }(x_1,x_2,\cdots ,x_n)$ 是 $\theta$ 的一个无偏估计，$\mathrm{Var}(\hat{\theta })<\infty$。如果对任意一个满足

$$E(\phi (x_1,x_2,\cdots ,x_n))=0$$

和

$$\mathrm{Var}(\phi (x_1,x_2,\cdots ,x_n))<\infty$$

的 $\phi$，都有

$${\mathrm{Cov}}_{\theta }(\hat{\theta },\phi )=0,\forall \theta \in \Theta ,$$

则 $\hat{\theta }$ 是 $\theta$ 的 UMVUE。

1. 充分性原则
2. 任一参数 $\theta$ 的 UMVUE 不一定存在，若存在，则它一定可表示为充分统计量的函数；
3. 若 $\theta$ 的某个无偏估计 $\hat{\theta }$ 不是充分统计量 $T=T(x_1,x_2,\cdots ,x_n)$ 的函数，则通过条件期望可以获得一个新的无偏估计 $\tilde{\theta }=E(\hat{\theta }\mid T)$，且方差不超过原估计的方差；
4. 考虑 $\theta$ 的估计时，只需要在其充分统计量的函数中寻找即可，这说法对所有统计推断都是正确的，这便是充分性原则。
5. 费希尔信息量 $I(\theta )$ 设总体的概率函数 $p(x;\theta )$，$\theta \in \Theta$ 满足下列条件：
6. 参数空间 $\Theta$ 是直线上的一个开区间；
7. 支撑 $S=\{x:p(x;\theta )>0\}$ 与 $\theta$ 无关；
8. 导数 $\frac{\partial }{\partial \theta }p(x;\theta )$ 对一切 $\theta \in \Theta$ 都存在；
9. 对 $p(x;\theta )$，积分与微分运算可交换次序，即

$$\frac{\partial }{\partial \theta }{\int }_{-\infty }^{\infty }p(x;\theta )dx={\int }_{-\infty }^{\infty }\frac{\partial }{\partial \theta }p(x;\theta )dx;$$

1. 期望

$$I(\theta )=E{\left[\frac{\partial }{\partial \theta }\ln p(x;\theta )\right]}^2$$

存在。

则称该期望 $I(\theta )$ 为总体分布的费希尔信息量。若二阶导数对一切 $\theta \in \Theta$ 都存在，则 $I(\theta )$ 还可用下式计算：

$$I(\theta )=-E\left[\frac{{\partial }^2}{\partial {\theta }^2}\ln p(x;\theta )\right].$$

1. 常用分布的费希尔信息量
2. 二点分布 $b(1,p)$ 的费希尔信息量 $I(p)=[p(1-p){]}^{-1}$；
3. 泊松分布 $p(\lambda )$ 的费希尔信息量 $I(\lambda )={\lambda }^{-1}$；
4. 指数分布 $\mathrm{Exp}(\lambda )$ 的费希尔信息量 $I(\lambda )={\lambda }^2$；
5. 正态分布 $N(\mu ,1)$ 的费希尔信息量 $I(\mu )=1$；
6. 正态分布 $N(0,{\sigma }^2)$ 的费希尔信息量 $I({\sigma }^2)=\frac{1}{2{\sigma }^4}$；
7. 正态分布 $N(\mu ,{\sigma }^2)$ 的费希尔信息量（信息矩阵）

$$I(\mu ,{\sigma }^2)=\left(\begin{array}{cc}1/{\sigma }^2& 0\\ 0& 1/(2{\sigma }^4)\end{array}\right).$$

1. C-R 不等式 设 $T=T(x_1,x_2,\cdots ,x_n)$ 是未知参数 $g(\theta )$ 的一个无偏估计，若

$$g^{\prime }(\theta )=\frac{\partial g(\theta )}{\partial \theta }$$

存在，则在费希尔信息量 $I(\theta )$ 也存在的条件下有

$$\mathrm{Var}(T)\ge \frac{[g^{\prime }(\theta ){]}^2}{nI(\theta )}.$$

上式称为克拉默—拉奥（C-R）不等式，$\frac{[g^{\prime }(\theta ){]}^2}{nI(\theta )}$ 称为 $g(\theta )$ 的无偏估计的方差的 C-R 下界，简称 $g(\theta )$ 的 C-R 下界。特别，对 $\theta$ 的无偏估计 $\hat{\theta }$，有

$$\mathrm{Var}(\hat{\theta })\ge [nI(\theta ){]}^{-1}.$$

注：$g(\theta )$ 的 C-R 下界并不是对任意参数函数 $g(\theta )$ 的无偏估计的方差都可达到，但能达到 C-R 下界的 $g(\theta )$ 的估计 $T=T(x_1,x_2,\cdots ,x_n)$ 一定是 $g(\theta )$ 的 UMVUE。方差达到 C-R 下界的无偏估计称为有效估计。

习题与解答 6.4

习题 6.4-1

设总体概率函数是 $p(x;\theta )$，$x_1,x_2,\cdots ,x_n$ 是其样本，$T=T(x_1,x_2,\cdots ,x_n)$ 是 $\theta$ 的充分统计量，则对 $g(\theta )$ 的任何一个估计 $\hat{g}$，令

$$\tilde{g}=E(\hat{g}\mid T),$$

证明：

$$\mathrm{MSE}(\tilde{g})\le \mathrm{MSE}(\hat{g}).$$

这说明，在均方误差准则下，人们只需要考虑基于充分统计量的估计。

解 我们将均方误差作如下分解

$$\begin{array}{rl}\mathrm{MSE}(\hat{g})& =E(\hat{g}-g(\theta ){)}^2\\ & =E(\hat{g}-\tilde{g}+\tilde{g}-g(\theta ){)}^2\\ & =E(\hat{g}-\tilde{g}{)}^2+\mathrm{MSE}(\tilde{g})+2E[(\hat{g}-\tilde{g})(\tilde{g}-g(\theta ))].\end{array}$$

注意到 $\tilde{g}=E(\hat{g}\mid T)$，这说明

$$E[(\hat{g}-\tilde{g})\mid T]=E(\hat{g}\mid T)-E[E(\hat{g}\mid T)\mid T]=E(\hat{g}\mid T)-E(\hat{g}\mid T)=0,$$

于是

$$\begin{array}{rl}E[(\hat{g}-\tilde{g})(\tilde{g}-g(\theta ))]& =E\left\{E\right[(\hat{g}-\tilde{g})(\tilde{g}-g(\theta ))\mid T\left]\right\}\\ & =E\{(\tilde{g}-g(\theta ))E[(\hat{g}-\tilde{g})\mid T]\}=0.\end{array}$$

因而

$$\mathrm{MSE}(\hat{g})=E(\hat{g}-\tilde{g}{)}^2+\mathrm{MSE}(\tilde{g})\ge \mathrm{MSE}(\tilde{g}).$$

习题 6.4-2

设 $T_1,T_2$ 分别是 ${\theta }_1,{\theta }_2$ 的 UMVUE，证明：对任意的（非零）常数 $a,b$，$a{T}_1+b{T}_2$ 是 $a{\theta }_1+b{\theta }_2$ 的 UMVUE。

解 由于 $T_1,T_2$ 分别是 ${\theta }_1,{\theta }_2$ 的 UMVUE，故

$$E(T_i)={\theta }_i,i=1,2.$$

且对任意一个 $\varphi (x)$，满足 $E(\varphi )=0$，由判断准则知

$$\mathrm{Cov}(T_i,\varphi )=0,i=1,2.$$

于是

$$E(a{T}_1+b{T}_2)=a{\theta }_1+b{\theta }_2,$$ $$\mathrm{Cov}(a{T}_1+b{T}_2,\varphi )=a\mathrm{Cov}(T_1,\varphi )+b\mathrm{Cov}(T_2,\varphi )=0.$$

因此 $a{T}_1+b{T}_2$ 是 $a{\theta }_1+b{\theta }_2$ 的 UMVUE。

习题 6.4-3

设 $T$ 是 $g(\theta )$ 的 UMVUE，$\hat{g}$ 是 $g(\theta )$ 的无偏估计，证明：若 $\mathrm{Var}(\hat{g})<\infty$，则

$$\mathrm{Cov}(T,\hat{g})\ge 0.$$

解 因为 $T$ 是 $g(\theta )$ 的 UMVUE，$\hat{g}$ 是 $g(\theta )$ 的无偏估计，故其差

$$T-\hat{g}$$

是 $0$ 的无偏估计，即

$$E(T-\hat{g})=0,$$

且

$$\mathrm{Var}(T-\hat{g})<\infty .$$

由判断准则知

$$\mathrm{Cov}(T,T-\hat{g})=0,$$

这说明

$$\mathrm{Var}(T)-\mathrm{Cov}(T,\hat{g})=0,$$

即

$$\mathrm{Cov}(T,\hat{g})=\mathrm{Var}(T)\ge 0.$$

习题 6.4-4

设总体 $X\sim N(\mu ,{\sigma }^2)$，$x_1,x_2,\cdots ,x_n$ 为样本，证明，

$$\bar{x}=\frac{1}{n}\sum _{i=1}^n{x}_i,s^2=\frac{1}{n-1}\sum _{i=1}^n(x_i-\bar{x}{)}^2$$

分别为 $\mu ,{\sigma }^2$ 的 UMVUE。

解 大家知道：$\bar{x},s^2$ 分别是 $\mu ,{\sigma }^2$ 的无偏估计，设 $\phi (x_1,x_2,\cdots ,x_n)$ 是 $0$ 的任一无偏估计，则

$$E(\phi )={\int }_{-\infty }^{\infty }\cdots {\int }_{-\infty }^{\infty }\phi \cdot \prod _{i=1}^n\frac{1}{\sqrt{2\pi }\sigma }\exp \left\{-\frac{(x_i-\mu {)}^2}{2{\sigma }^2}\right\}d{x}_1\cdots d{x}_n=0,$$

即

$${\int }_{-\infty }^{\infty }\cdots {\int }_{-\infty }^{\infty }\phi \cdot (2\pi {\sigma }^2{)}^{-n/2}\exp \left\{-\frac{1}{2{\sigma }^2}\sum _{i=1}^n{x}_i^2+\frac{n\bar{x}}{{\sigma }^2}\mu -\frac{n{\mu }^2}{2{\sigma }^2}\right\}d{x}_1\cdots d{x}_n=0.\text{\hspace{1em}(1)}$$

将 $(1)$ 式两端对 $\mu$ 求导，并注意到 $E(\phi )=0$，有

$${\int }_{-\infty }^{\infty }\cdots {\int }_{-\infty }^{\infty }\frac{n\bar{x}}{{\sigma }^2}\phi \cdot (2\pi {\sigma }^2{)}^{-n/2}\exp \left\{-\frac{1}{2{\sigma }^2}\sum _{i=1}^n{x}_i^2+\frac{n\bar{x}}{{\sigma }^2}\mu -\frac{n{\mu }^2}{2{\sigma }^2}\right\}d{x}_1\cdots d{x}_n=0.\text{\hspace{1em}(2)}$$

这说明

$$E\left(\frac{n\bar{x}\phi }{{\sigma }^2}\right)=0,$$

即

$$E(\bar{x}\phi )=0,$$

于是

$$\mathrm{Cov}(\bar{x},\phi )=E(\bar{x}\phi )-E(\bar{x})E(\phi )=0,$$

从而 $\bar{x}$ 是 $\mu$ 的 UMVUE。

为证明 $s^2$ 是 ${\sigma }^2$ 的 UMVUE，我们将 $(2)$ 式的两端再对 $\mu$ 求导，得

$${\int }_{-\infty }^{\infty }\cdots {\int }_{-\infty }^{\infty }{\left(\frac{n\bar{x}}{{\sigma }^2}\right)}^2\phi \cdot (2\pi {\sigma }^2{)}^{-\frac{n}{2}}\exp \left\{-\frac{1}{2{\sigma }^2}\sum _{i=1}^n{x}_i^2+\frac{n\bar{x}}{{\sigma }^2}\mu -\frac{n{\mu }^2}{2{\sigma }^2}\right\}\mathrm{d}{x}_1\cdots \mathrm{d}{x}_n$$ $$-{\int }_{-\infty }^{\infty }\cdots {\int }_{-\infty }^{\infty }\frac{n\bar{x}}{{\sigma }^2}\cdot \frac{n\mu }{{\sigma }^2}\phi \cdot (2\pi {\sigma }^2{)}^{-\frac{n}{2}}\exp \left\{-\frac{1}{2{\sigma }^2}\sum _{i=1}^n{x}_i^2+\frac{n\bar{x}}{{\sigma }^2}\mu -\frac{n{\mu }^2}{2{\sigma }^2}\right\}\mathrm{d}{x}_1\cdots \mathrm{d}{x}_n=0,$$

由此可以得到 $E({\bar{x}}^2\phi )=0$。下一步，将 ① 式两端对 ${\sigma }^2$ 求导，略去几个前面已经指出积分为 $0$ 的项，有

$${\int }_{-\infty }^{\infty }\cdots {\int }_{-\infty }^{\infty }\sum _{i=1}^n{x}_i^2\phi \cdot (2\pi {\sigma }^2{)}^{-\frac{n}{2}}\exp \left\{-\frac{1}{2{\sigma }^2}\sum _{i=1}^n{x}_i^2+\frac{n\bar{x}}{{\sigma }^2}\mu -\frac{n{\mu }^2}{2{\sigma }^2}\right\}\mathrm{d}{x}_1\cdots \mathrm{d}{x}_n=0.$$

这表明 $E\left(\phi {\sum }_{i=1}^n{x}_i^2\right)=0$，由此可得到 $E(s^2\phi )=0$，因而

$$\mathrm{Cov}(s^2,\phi )=E(s^2\phi )-E(s^2)E(\phi )=0.$$

这就证明了 $s^2$ 是 ${\sigma }^2$ 的 UMVUE。

习题 6.4-5

设总体 $p(x;\theta )$ 的费希尔信息量存在，若二阶导数 $\frac{{\partial }^2}{\partial {\theta }^2}p(x;\theta )$ 对一切的 $\theta \in \Theta$ 存在，证明费希尔信息量

$$I(\theta )=-E\left(\frac{{\partial }^2}{\partial {\theta }^2}\ln p(x;\theta )\right).$$

解 记

$$S_{\theta }=\frac{\partial \ln p(x;\theta )}{\partial \theta },$$

则

$$E(S_{\theta })={\int }_{-\infty }^{\infty }\frac{1}{p(x;\theta )}\cdot \frac{\partial p(x;\theta )}{\partial \theta }\cdot p(x;\theta )\mathrm{d}x={\int }_{-\infty }^{\infty }\frac{\partial p(x;\theta )}{\partial \theta }\mathrm{d}x=\frac{\partial }{\partial \theta }{\int }_{-\infty }^{\infty }p(x;\theta )\mathrm{d}x=0,$$

所以

$$\frac{\partial E(S_{\theta })}{\partial \theta }=0.$$

另一方面，

$$\begin{array}{rl}\frac{\partial E(S_{\theta })}{\partial \theta }& =\frac{\partial }{\partial \theta }{\int }_{-\infty }^{\infty }{S}_{\theta }p(x;\theta )\mathrm{d}x={\int }_{-\infty }^{\infty }\frac{\partial }{\partial \theta }(S_{\theta }p(x;\theta ))\mathrm{d}x\\ & ={\int }_{-\infty }^{\infty }\left(\frac{\partial S_{\theta }}{\partial \theta }\cdot p(x;\theta )+S_{\theta }\cdot \frac{\partial p(x;\theta )}{\partial \theta }\right)\mathrm{d}x\\ & ={\int }_{-\infty }^{\infty }\frac{{\partial }^2\ln p(x;\theta )}{\partial {\theta }^2}\cdot p(x;\theta )\mathrm{d}x+{\int }_{-\infty }^{\infty }{\left(\frac{\partial \ln p(x;\theta )}{\partial \theta }\right)}^{2}p(x;\theta )\mathrm{d}x\\ & =E\left(\frac{{\partial }^2\ln p(x;\theta )}{\partial {\theta }^2}\right)+E(S_{\theta }^2)\\ & =E\left(\frac{{\partial }^2\ln p(x;\theta )}{\partial {\theta }^2}\right)+I(\theta ).\end{array}$$

这就证明了

$$I(\theta )=-E\left(\frac{{\partial }^2\ln p(x;\theta )}{\partial {\theta }^2}\right).$$

习题 6.4-6

设总体密度函数为

$$p(x;\theta )=\theta x^{\theta -1},0<x<1,\theta >0,$$

$x_1,x_2,\cdots ,x_n$ 是样本。

1. 求 $g(\theta )=1/\theta$ 的最大似然估计；
2. 求 $g(\theta )$ 的有效估计。

解 **（1）**似然函数为

$$L(\theta )=\prod _{i=1}^n\theta x_i^{\theta -1},$$

对数似然函数为

$$\ln L(\theta )=n\ln \theta +(\theta -1)\sum _{i=1}^n\ln x_i=-n\ln g(\theta )+\left(\frac{1}{g(\theta )}-1\right)\sum _{i=1}^n\ln x_i.$$

将对数似然函数求导并令其为 $0$，得似然方程

$$\frac{\partial \ln L(\theta )}{\partial g(\theta )}=-\frac{n}{g(\theta )}-\frac{1}{g^2(\theta )}\sum _{i=1}^n\ln x_i=0.$$

解之得

$$\hat{g}(\theta )=-\frac{1}{n}\sum _{i=1}^n\ln x_i.$$

**（2）**令 $Y=-\ln X$，则

$$P(Y<y)=P(-\ln X<y)=P(X>e^{-y})={\int }_{e^{-y}}^1\theta x^{\theta -1}\mathrm{d}x=1-e^{-\theta y},$$

因此

$$Y\sim Exp(\theta )=Ga(1,\theta ),$$

从而有

$$\hat{g}(\theta )\sim Ga(n,n\theta ).$$

于是

$$E(\hat{g})=\frac{n}{n\theta }=\frac{1}{\theta }=g(\theta ),\mathrm{Var}(\hat{g})=\frac{n}{(n\theta {)}^2}=\frac{1}{n{\theta }^2}.$$

为求有效估计，需求出 $\theta$ 的费希尔信息量。注意到

$$\ln p(x;\theta )=\ln \theta +(\theta -1)\ln x,$$ $$\frac{\partial \ln p(x;\theta )}{\partial \theta }=\frac{1}{\theta }+\ln x,\frac{{\partial }^2\ln p(x;\theta )}{\partial {\theta }^2}=-\frac{1}{{\theta }^2},$$

于是

$$I(\theta )=-E\left(\frac{{\partial }^2}{\partial {\theta }^2}\ln p(x;\theta )\right)=\frac{1}{{\theta }^2}.$$

而

$$g^{\prime }(\theta )=-{\theta }^{-2},$$

于是 $g(\theta )$ 的任一无偏估计的 C-R 下界为

$$\frac{[g^{\prime }(\theta ){]}^2}{nI(\theta )}=\frac{1}{n{\theta }^2}.$$

从而 $\hat{g}(\theta )=-\frac{1}{n}{\sum }_{i=1}^n\ln x_i$ 是 $g(\theta )$ 的无偏估计，且方差达到了 C-R 下界，所以 $\hat{g}(\theta )=-\frac{1}{n}{\sum }_{i=1}^n\ln x_i$ 是 $g(\theta )$ 的有效估计。

习题 6.4-7

设总体密度函数为

$$p(x;\theta )=\frac{2\theta }{x^3}{e}^{-\theta /x^2},x>0,\theta >0,$$

求 $\theta$ 的费希尔信息量 $I(\theta )$。

解 对数密度函数为

$$\ln p(x;\theta )=\ln 2+\ln \theta -3\ln x-\theta /x^2,$$

于是

$$\frac{\partial \ln p(x;\theta )}{\partial \theta }=\frac{1}{\theta }-\frac{1}{x^2},\frac{{\partial }^2\ln p(x;\theta )}{\partial {\theta }^2}=-\frac{1}{{\theta }^2},$$

由此给出

$$I(\theta )=-E\left(\frac{{\partial }^2\ln p(x;\theta )}{\partial {\theta }^2}\right)=\frac{1}{{\theta }^2}.$$

习题 6.4-8

设总体密度函数为

$$p(x;\theta )=\theta c^{\theta }{x}^{-(\theta +1)},x>c,c>0\text{已知},\theta >0,$$

求 $\theta$ 的费希尔信息量 $I(\theta )$。

解 对数密度函数为

$$\ln p(x;\theta )=\ln \theta +\theta \ln c-(\theta +1)\ln x,$$

将上式对 $\theta$ 求导，得到

$$\frac{\partial \ln p(x;\theta )}{\partial \theta }=\frac{1}{\theta }+\ln c-\ln x,$$

二阶导函数为

$$\frac{{\partial }^2\ln p(x;\theta )}{\partial {\theta }^2}=-\frac{1}{{\theta }^2},$$

于是

$$I(\theta )=-E\left(\frac{{\partial }^2\ln p(x;\theta )}{\partial {\theta }^2}\right)=\frac{1}{{\theta }^2}.$$

习题 6.4-9

设总体分布列为

$$P(X=x)=(x-1){\theta }^2(1-\theta {)}^{x-2},x=2,3,\cdots ,0<\theta <1,$$

求 $\theta$ 的费希尔信息量 $I(\theta )$。

解 对数分布列为

$$\ln P(X=x)=\ln (x-1)+2\ln \theta +(x-2)\ln (1-\theta ).$$

求一、二阶导数，有

$$\frac{\partial \ln P(X=x)}{\partial \theta }=\frac{2}{\theta }-\frac{x-2}{1-\theta },\frac{{\partial }^2\ln P(X=x)}{\partial {\theta }^2}=-\frac{2}{{\theta }^2}-\frac{x-2}{(1-\theta {)}^2}.$$

在本章 $6.2$ 节第 $3$ 题中，我们已经算得

$$E(x)=\frac{2}{\theta },$$

于是

$$I(\theta )=-E\left(\frac{{\partial }^2\ln P(X=x)}{\partial {\theta }^2}\right)=\frac{2}{{\theta }^2}+\frac{E(x)-2}{(1-\theta {)}^2}=\frac{2}{{\theta }^2(1-\theta )}.$$

习题 6.4-10

设 $x_1,x_2,\cdots ,x_n$ 是来自 $Ga(\alpha ,\lambda )$ 的样本，$\alpha >0$ 已知，试证明 $\bar{x}/\alpha$ 是 $g(\lambda )=1/\lambda$ 的有效估计，从而也是 UMVUE。

解 总体 $Ga(\alpha ,\lambda )$ 的密度函数为

$$p(x;\lambda )=\frac{{\lambda }^{\alpha }}{\Gamma (\alpha )}{x}^{\alpha -1}{e}^{-\lambda x},x>0,$$

于是

$$\ln p(x;\lambda )=\alpha \ln \lambda -\ln \Gamma (\alpha )+(\alpha -1)\ln x-\lambda x,$$ $$\frac{\partial \ln p(x;\lambda )}{\partial \lambda }=\frac{\alpha }{\lambda }-x,\frac{{\partial }^2\ln p(x;\lambda )}{\partial {\lambda }^2}=-\frac{\alpha }{{\lambda }^2}.$$

所以 $\lambda$ 的费希尔信息量为

$$I(\lambda )=\frac{\alpha }{{\lambda }^2},$$

这就是说 $g(\lambda )=\frac{1}{\lambda }$ 的任一无偏估计的 C-R 下界为

$$\frac{[g^{\prime }(\lambda ){]}^2}{nI(\lambda )}=\frac{1}{n\alpha {\lambda }^2}.$$

又

$$E\left(\frac{\bar{x}}{\alpha }\right)=\frac{1}{\alpha }\cdot \frac{\alpha }{\lambda }=\frac{1}{\lambda },\mathrm{Var}\left(\frac{\bar{x}}{\alpha }\right)=\frac{1}{{\alpha }^2}\cdot \frac{1}{n}\cdot \frac{\alpha }{{\lambda }^2}=\frac{1}{n\alpha {\lambda }^2}.$$

这就证明了 $\bar{x}/\alpha$ 是 $g(\lambda )=1/\lambda$ 的有效估计，从而也是 UMVUE。

习题 6.4-11

设 $x_1,x_2,\cdots ,x_m\text{ i.i.d.}\sim N(a,{\sigma }^2)$，$y_1,y_2,\cdots ,y_n\text{ i.i.d.}\sim N(a,2{\sigma }^2)$，求 $a$ 和 ${\sigma }^2$ 的 UMVUE。

解 直观上，可考虑 $\bar{x}$ 和 $\bar{y}$ 的凸线性组合

$${\hat{a}}_l=l\bar{x}+(1-l)\bar{y},$$

易知 ${\hat{a}}_l$ 为 $a$ 的无偏估计，且当

$$l=\frac{2m}{2m+n}$$

时，$\mathrm{Var}({\hat{a}}_l)$ 达到最小。下证

$$\hat{a}=\frac{2m\bar{x}+n\bar{y}}{2m+n}$$

为 $a$ 的 UMVUE。

$(x_1,x_2,\cdots ,x_m,y_1,y_2,\cdots ,y_n)$ 的联合密度函数为

$$\begin{array}{rl}& p(x_1,\cdots ,x_m,y_1,\cdots ,y_n,a,{\sigma }^2)\\ & ={\left(\frac{1}{\sqrt{2\pi }\sigma }\right)}^{m+n}{2}^{-\frac{n}{2}}\exp \left\{-\sum _{i=1}^m\frac{(x_i-a{)}^2}{2{\sigma }^2}-\sum _{i=1}^n\frac{(y_i-a{)}^2}{4{\sigma }^2}\right\}\\ & ={\left(\frac{1}{\sqrt{2\pi }\sigma }\right)}^{m+n}{2}^{-\frac{n}{2}}\exp \left\{-\frac{1}{2{\sigma }^2}\left(\sum _{i=1}^m{x}_i^2+\frac{1}{2}\sum _{i=1}^n{y}_i^2\right)+\frac{m\bar{x}+\frac{1}{2}n\bar{y}}{{\sigma }^2}a-\frac{m+\frac{1}{2}n}{2{\sigma }^2}{a}^2\right\}.\end{array}$$

设 $\phi (x_1,\cdots ,x_m,y_1,\cdots ,y_n)$ 是 $0$ 的任一无偏估计，则

$$E(\phi )={\int }_{-\infty }^{\infty }\cdots {\int }_{-\infty }^{\infty }\phi \cdot p(x_1,\cdots ,x_m,y_1,\cdots ,y_n,a,{\sigma }^2)\mathrm{d}{x}_1\cdots \mathrm{d}{x}_m\mathrm{d}{y}_1\cdots \mathrm{d}{y}_n=0,$$

即

$$\begin{array}{rl}& {\int }_{-\infty }^{\infty }\cdots {\int }_{-\infty }^{\infty }\phi \cdot {\left(\frac{1}{\sqrt{2\pi }\sigma }\right)}^{m+n}{2}^{-\frac{n}{2}}\exp \{-\frac{1}{2{\sigma }^2}\left(\sum _{i=1}^m{x}_i^2+\frac{1}{2}\sum _{i=1}^n{y}_i^2\right)\\ & +\frac{m\bar{x}+\frac{1}{2}n\bar{y}}{{\sigma }^2}a-\frac{m+\frac{1}{2}n}{2{\sigma }^2}{a}^2\}\mathrm{d}{x}_1\cdots \mathrm{d}{x}_m\mathrm{d}{y}_1\cdots \mathrm{d}{y}_n=0.\end{array}\text{\hspace{1em}(1)}$$

将 ① 式两端对 $a$ 求导，并注意到 $E(\phi )=0$，有

$$\begin{array}{rl}& {\int }_{-\infty }^{\infty }\cdots {\int }_{-\infty }^{\infty }\frac{m\bar{x}+\frac{1}{2}n\bar{y}}{{\sigma }^2}\phi \cdot {\left(\frac{1}{\sqrt{2\pi }\sigma }\right)}^{m+n}{2}^{-\frac{n}{2}}\exp \{-\frac{1}{2{\sigma }^2}\left(\sum _{i=1}^m{x}_i^2+\frac{1}{2}\sum _{i=1}^n{y}_i^2\right)\\ & +\frac{m\bar{x}+\frac{1}{2}n\bar{y}}{{\sigma }^2}a-\frac{m+\frac{1}{2}n}{2{\sigma }^2}{a}^2\}\mathrm{d}{x}_1\cdots \mathrm{d}{x}_m\mathrm{d}{y}_1\cdots \mathrm{d}{y}_n=0.\end{array}\text{\hspace{1em}(2)}$$

这说明

$$E\left(\frac{m\bar{x}+\frac{1}{2}n\bar{y}}{{\sigma }^2}\phi \right)=0,$$

即

$$E\left(\left(m\bar{x}+\frac{1}{2}n\bar{y}\right)\phi \right)=0.$$

于是

$$\mathrm{Cov}\left(m\bar{x}+\frac{1}{2}n\bar{y},\phi \right)=E\left(\left(m\bar{x}+\frac{1}{2}n\bar{y}\right)\phi \right)-E\left(m\bar{x}+\frac{1}{2}n\bar{y}\right)E(\phi )=0,$$

从而

$$\hat{a}=\frac{2m\bar{x}+n\bar{y}}{2m+n}$$

是 $a$ 的 UMVUE。

我们将 ② 式的两端再对 $a$ 求导，得

$$\begin{array}{rl}& {\int }_{-\infty }^{\infty }\cdots {\int }_{-\infty }^{\infty }\left(\frac{{\left(m\bar{x}+\frac{1}{2}n\bar{y}\right)}^2}{{\sigma }^4}-\left(m+\frac{1}{2}n\right)\frac{1}{{\sigma }^2}\frac{m\bar{x}+\frac{1}{2}n\bar{y}}{{\sigma }^2}a\right)\phi \cdot {\left(\frac{1}{\sqrt{2\pi }\sigma }\right)}^{m+n}{2}^{-\frac{n}{2}}\\ & \times \exp \left\{-\frac{1}{2{\sigma }^2}\left(\sum _{i=1}^m{x}_i^2+\frac{1}{2}\sum _{i=1}^n{y}_i^2\right)+\frac{m\bar{x}+\frac{1}{2}n\bar{y}}{{\sigma }^2}a-\frac{m+\frac{1}{2}n}{2{\sigma }^2}{a}^2\right\}\mathrm{d}{x}_1\cdots \mathrm{d}{x}_m\mathrm{d}{y}_1\cdots \mathrm{d}{y}_n=0.\end{array}$$

由此可以得到

$$E\left({\left(m\bar{x}+\frac{1}{2}n\bar{y}\right)}^2\phi \right)=0.$$

下一步，将 ① 式两端对 ${\sigma }^2$ 求导，略去几个前面已经指出积分为 $0$ 的项，有

$$\begin{array}{rl}& {\int }_{-\infty }^{\infty }\cdots {\int }_{-\infty }^{\infty }\left(\sum _{i=1}^m{x}_i^2+\frac{1}{2}\sum _{i=1}^n{y}_i^2\right)\phi \cdot {\left(\frac{1}{\sqrt{2\pi }\sigma }\right)}^{m+n}{2}^{-\frac{n}{2}}\exp \{-\frac{1}{2{\sigma }^2}\left(\sum _{i=1}^m{x}_i^2+\frac{1}{2}\sum _{i=1}^n{y}_i^2\right)\\ & +\frac{m\bar{x}+\frac{1}{2}n\bar{y}}{{\sigma }^2}a-\frac{m+\frac{1}{2}n}{2{\sigma }^2}{a}^2\}\mathrm{d}{x}_1\cdots \mathrm{d}{x}_m\mathrm{d}{y}_1\cdots \mathrm{d}{y}_n=0.\end{array}$$

这表明

$$E\left[\phi \cdot \left(\sum _{i=1}^m{x}_i^2+\frac{1}{2}\sum _{i=1}^n{y}_i^2\right)\right]=0.$$

记

$$T=\sum _{i=1}^m{x}_i^2+\frac{1}{2}\sum _{i=1}^n{y}_i^2-\frac{{\left(m\bar{x}+\frac{1}{2}n\bar{y}\right)}^2}{m+\frac{1}{2}n},$$

由此可得到 $E(T\phi )=0$，因而 $\mathrm{Cov}(T,\phi )=0$。

由于

$$E\left(\sum _{i=1}^m{x}_i^2+\frac{1}{2}\sum _{i=1}^n{y}_i^2\right)=\left(m+\frac{1}{2}n\right)a^2+(m+n){\sigma }^2,$$ $$E{\left(m\bar{x}+\frac{1}{2}n\bar{y}\right)}^2={\left(m+\frac{1}{2}n\right)}^2{a}^2+\left(m+\frac{1}{2}n\right){\sigma }^2,$$

所以，

$$E(T)=\left(m+\frac{1}{2}n\right)a^2+(m+n){\sigma }^2-\left(m+\frac{1}{2}n\right)a^2-{\sigma }^2=(m+n-1){\sigma }^2,$$

故

$$(m+n-1{)}^{-1}T$$

是 ${\sigma }^2$ 的 UMVUE。

注意，这里 ${\sigma }^2$ 的估计不能是 $s_x^2$ 和 $s_y^2$ 的凸组合，为什么？留给读者思考。

习题 6.4-12

设 $x_1,x_2,\cdots ,x_n\text{ i.i.d.}\sim N(\mu ,1)$，求 ${\mu }^2$ 的 UMVUE。证明此 UMVUE 达不到 C-R 不等式的下界，即它不是有效估计。

解 设 $\phi (x_1,x_2,\cdots ,x_n)$ 是 $0$ 的任一无偏估计，则

$$E(\phi )={\int }_{-\infty }^{\infty }\cdots {\int }_{-\infty }^{\infty }\phi \cdot \prod _{i=1}^n\frac{1}{\sqrt{2\pi }}\exp \left\{-\frac{(x_i-\mu {)}^2}{2}\right\}\mathrm{d}{x}_1\cdots \mathrm{d}{x}_n=0,$$

即

$${\int }_{-\infty }^{\infty }\cdots {\int }_{-\infty }^{\infty }\phi \cdot (2\pi {)}^{-\frac{n}{2}}\exp \left\{-\frac{1}{2}\sum _{i=1}^n{x}_i^2+n\bar{x}\mu -\frac{n{\mu }^2}{2}\right\}\mathrm{d}{x}_1\cdots \mathrm{d}{x}_n=0.\text{\hspace{1em}(1)}$$

将 ① 式两端对 $\mu$ 求导，并注意到 $E(\phi )=0$，有

$${\int }_{-\infty }^{\infty }\cdots {\int }_{-\infty }^{\infty }n\bar{x}\phi \cdot (2\pi {)}^{-\frac{n}{2}}\exp \left\{-\frac{1}{2}\sum _{i=1}^n{x}_i^2+n\bar{x}\mu -\frac{n{\mu }^2}{2}\right\}\mathrm{d}{x}_1\cdots \mathrm{d}{x}_n=0.\text{\hspace{1em}(2)}$$

这说明 $E(n\bar{x}\phi )=0$，即 $E(\bar{x}\phi )=0$。

我们将 ② 式的两端再对 $\mu$ 求导，得

$${\int }_{-\infty }^{\infty }\cdots {\int }_{-\infty }^{\infty }(n\bar{x}{)}^2\phi \cdot (2\pi {)}^{-\frac{n}{2}}\exp \left\{-\frac{1}{2}\sum _{i=1}^n{x}_i^2+n\bar{x}\mu -\frac{n{\mu }^2}{2}\right\}\mathrm{d}{x}_1\cdots \mathrm{d}{x}_n$$ $$-{\int }_{-\infty }^{\infty }\cdots {\int }_{-\infty }^{\infty }n\bar{x}\cdot n\mu \phi \cdot (2\pi {)}^{-\frac{n}{2}}\exp \left\{-\frac{1}{2}\sum _{i=1}^n{x}_i^2+n\bar{x}\mu -\frac{n{\mu }^2}{2}\right\}\mathrm{d}{x}_1\cdots \mathrm{d}{x}_n=0,$$

由此可以得到

$$E({\bar{x}}^2\phi )=0.$$

记

$$T={\bar{x}}^2-\frac{1}{n},$$

则

$$\mathrm{Cov}(T,\phi )=0,E(T)={\mu }^2,$$

从而

$$T={\bar{x}}^2-\frac{1}{n}$$

为 ${\mu }^2$ 的 UMVUE。

进一步，

$$\mathrm{Var}(T)=\mathrm{Var}({\bar{x}}^2)=\frac{2}{n^2}+\frac{4}{n}{\mu }^2,$$

C-R 下界为

$$\frac{4{\mu }^2}{nI(\mu )}=\frac{4{\mu }^2}{n}.$$

故此 UMVUE 的方差还达不到 C-R 不等式的下界。

习题 6.4-13

对泊松分布 $P(\theta )$，

1. 求 $I\left(\frac{1}{\theta }\right)$；
2. 找一个函数 $g(\cdot )$，使 $g(\theta )$ 的费希尔信息量与 $\theta$ 无关。

解 （1）

$$I\left(\frac{1}{\theta }\right)=I(\theta ){\left(\frac{\mathrm{d}\theta }{\mathrm{d}(1/\theta )}\right)}^2={\theta }^{4}I(\theta )={\theta }^3.$$

（2）

$$I(g(\theta ))=I(\theta ){\left(\frac{\mathrm{d}\theta }{\mathrm{d}g(\theta )}\right)}^2.$$

令

$$I(g(\theta ))=c$$

（其中 $c$ 为大于 $0$ 的任意常数），则

$$\frac{\mathrm{d}\theta }{\mathrm{d}g(\theta )}=\sqrt{c\theta }.$$

所以，

$$g(\theta )=\frac{2}{\sqrt{c}}\sqrt{\theta }+c_2$$

（其中 $c_2$ 为任意常数）。

习题 6.4-14

设 $x_1,x_2,\cdots ,x_n$ 为独立同分布变量，$0<\theta <1$，

$$P(x_1=-1)=\frac{1-\theta }{2},P(x_1=0)=\frac{1}{2},P(x_1=1)=\frac{\theta }{2}.$$

1. 求 $\theta$ 的 MLE ${\hat{\theta }}_1$，并问 ${\hat{\theta }}_1$ 是否是无偏的；
2. 求 $\theta$ 的矩估计 ${\hat{\theta }}_2$；
3. 计算 $\theta$ 的无偏估计的方差的 C-R 下界。

解 **（1）**方法一 设 $x_1,x_2,\cdots ,x_n$ 中取值 $-1,0,1$ 分别有 $n_{-1},n_0,n_1$ 次，有 $n_{-1}+n_0+n_1=n$，则似然函数

$$L(\theta )={\left(\frac{1-\theta }{2}\right)}^{n_{-1}}{\left(\frac{1}{2}\right)}^{n_0}{\left(\frac{\theta }{2}\right)}^{n_1}=\frac{(1-\theta {)}^{n_{-1}}{\theta }^{n_1}}{2^n},$$

有

$$\ln L(\theta )=n_{-1}\ln (1-\theta )+n_1\ln \theta -n\ln 2,$$

令

$$\frac{\mathrm{d}\ln L(\theta )}{\mathrm{d}\theta }=n_{-1}\cdot \frac{-1}{1-\theta }+n_1\cdot \frac{1}{\theta }=0,$$

得

$$\theta =\frac{n_1}{n_{-1}+n_1},$$

故 $\theta$ 的 MLE ${\hat{\theta }}_1=\frac{n_1}{n_{-1}+n_1}$。

方法二 总体 $X$ 的密度函数为

$$p(x;\theta )={\left(\frac{1-\theta }{2}\right)}^{\frac{x(x-1)}{2}}{\left(\frac{1}{2}\right)}^{-(x+1)(x-1)}{\left(\frac{\theta }{2}\right)}^{\frac{x(x+1)}{2}}=\frac{1}{2}(1-\theta {)}^{\frac{x^2-x}{2}}{\theta }^{\frac{x^2+x}{2}},x=-1,0,1,$$

则似然函数

$$L(\theta )=\prod _{i=1}^n\frac{1}{2}(1-\theta {)}^{\frac{x_i^2-x_i}{2}}{\theta }^{\frac{x_i^2+x_i}{2}}=\frac{1}{2^n}(1-\theta {)}^{\frac{1}{2}\left({\sum }_{i=1}^n{x}_i^2-{\sum }_{i=1}^n{x}_i\right)}{\theta }^{\frac{1}{2}\left({\sum }_{i=1}^n{x}_i^2+{\sum }_{i=1}^n{x}_i\right)},$$

有

$$\ln L(\theta )=\frac{1}{2}\left(\sum _{i=1}^n{x}_i^2-\sum _{i=1}^n{x}_i\right)\ln (1-\theta )+\frac{1}{2}\left(\sum _{i=1}^n{x}_i^2+\sum _{i=1}^n{x}_i\right)\ln \theta -n\ln 2,$$

令

$$\frac{\mathrm{d}\ln L(\theta )}{\mathrm{d}\theta }=\frac{1}{2}\left(\sum _{i=1}^n{x}_i^2-\sum _{i=1}^n{x}_i\right)\frac{-1}{1-\theta }+\frac{1}{2}\left(\sum _{i=1}^n{x}_i^2+\sum _{i=1}^n{x}_i\right)\frac{1}{\theta }=0,$$

得

$$\theta =\frac{{\sum }_{i=1}^n{x}_i^2+{\sum }_{i=1}^n{x}_i}{2{\sum }_{i=1}^n{x}_i^2}=\frac{1}{2}+\frac{{\sum }_{i=1}^n{x}_i}{2{\sum }_{i=1}^n{x}_i^2},$$

故 $\theta$ 的 MLE

$${\hat{\theta }}_1=\frac{1}{2}+\frac{{\sum }_{i=1}^n{X}_i}{2{\sum }_{i=1}^n{X}_i^2}.$$

注：因 $X_i$ 全部可能取值 $-1,0,1$，有

$$\sum _{i=1}^n{X}_i^2=n_{-1}+n_1,\sum _{i=1}^n{X}_i=n_1-n_{-1},$$

即以上两个结果一致。

因

$$E({\hat{\theta }}_1)=E\left(\frac{n_1}{n_{-1}+n_1}\right)=E\left[E\left(\frac{n_1}{n_{-1}+n_1}|n_{-1}+n_1\right)\right],$$

且

$$P(x_1=1\mid x_1=-1\text{或}{x}_1=1)=\frac{P(x_1=1)}{P(x_1=-1\text{或}{x}_1=1)}=\frac{\theta /2}{(1-\theta )/2+\theta /2}=\theta ,$$

则在 $n_{-1}+n_1=m$ 的条件下，$n_1$ 服从二项分布 $b(m,\theta )$，$E(n_1\mid n_{-1}+n_1=m)=m\theta$， 可得

$$E\left(\frac{n_1}{n_{-1}+n_1}|n_{-1}+n_1\right)=\theta ,$$

即

$$E({\hat{\theta }}_1)=E\left[E\left(\frac{n_1}{n_{-1}+n_1}|n_{-1}+n_1\right)\right]=E(\theta )=\theta .$$

${\hat{\theta }}_1$ 是 $\theta$ 的无偏估计。

**（2）**因为

$$E(x_1)=-1\times \frac{1-\theta }{2}+0\times \frac{1}{2}+1\times \frac{\theta }{2}=\theta -\frac{1}{2},$$

所以 $\theta$ 的矩估计为

$${\hat{\theta }}_2=\bar{x}+\frac{1}{2}.$$

（3）

$$\ln p(x;\theta )=\frac{1}{2}(x^2-x)\ln \left(\frac{1-\theta }{2}\right)-(1-x^2)\ln 2+\frac{1}{2}(x^2+x)\ln \left(\frac{\theta }{2}\right),$$

关于 $\theta$ 求导，得

$$\frac{\mathrm{d}\ln p(x;\theta )}{\mathrm{d}\theta }=-\frac{1}{2}(x^2-x)\frac{1}{1-\theta }+\frac{1}{2}(x^2+x)\frac{1}{\theta },$$ $$\begin{array}{rl}I(\theta )& =E{\left(\frac{\mathrm{d}\ln p(x;\theta )}{\mathrm{d}\theta }\right)}^2\\ & ={\left(-\frac{1}{1-\theta }\right)}^2\frac{1-\theta }{2}+0\times \frac{1}{2}+{\left(\frac{1}{\theta }\right)}^2\frac{\theta }{2}\\ & =\frac{1}{2}\left(\frac{1}{1-\theta }+\frac{1}{\theta }\right)=\frac{1}{2\theta (1-\theta )}.\end{array}$$

所以，$\theta$ 的无偏估计的方差的 C-R 下界为

$$\frac{2\theta (1-\theta )}{n}.$$

习题 6.4-15

设总体 $X\sim Exp(1/\theta )$，$x_1,x_2,\cdots ,x_n$ 是样本，$\theta$ 的矩估计和最大似然估计都是 $\bar{x}$，它也是 $\theta$ 的相合估计和无偏估计，试证明在均方误差准则下存在优于 $\bar{x}$ 的估计（提示：考虑 ${\hat{\theta }}_a=a\bar{x}$，找均方误差最小者）。

解 令

$${\hat{\theta }}_a=a\bar{x},$$

则

$$\mathrm{MSE}({\hat{\theta }}_a)=\mathrm{Var}({\hat{\theta }}_a)+(E{\hat{\theta }}_a-\theta {)}^2=a^2\mathrm{Var}(\bar{x})+(aE(\bar{x})-\theta {)}^2=a^2\frac{{\theta }^2}{n}+{\theta }^2(a-1{)}^2.$$

对上式求导易知，当

$$a=\frac{n}{n+1}$$

时上式达到最小，最小值为

$$\frac{{\theta }^2}{n+1},$$

它小于 $\bar{x}$ 的均方误差

$$\frac{{\theta }^2}{n}.$$

补充习题及解答

补充习题 16

设 $x_1,x_2,\cdots ,x_n$ 独立同分布，$x_1$ 的取值有四种可能，其概率分别为

$$p_1=1-\theta ,p_2=\theta -{\theta }^2,p_3={\theta }^2-{\theta }^3,p_4={\theta }^3,$$

记 $N_j$ 为 $x_1,x_2,\cdots ,x_n$ 中出现各种可能结果的次数，$N_1+N_2+N_3+N_4=n$。

1. 确定 $a_1,a_2,a_3,a_4$，使 $T={\sum }_{i=1}^4{a}_i{N}_i$ 为 $\theta$ 的无偏估计；
2. 将 $\mathrm{Var}(T)$ 与 $\theta$ 的无偏估计方差的 C-R 下界比较。

解 **（1）**由于 $N_i\sim b(n,p_i)$，$i=1,2,3,4$，所以 $E(N_i)=n{p}_i$，从而有

$$\begin{array}{rl}E(T)& =\sum _{j=1}^4{a}_{j}E(N_j)\\ & =a_{1}n(1-\theta )+a_{2}n(\theta -{\theta }^2)+a_{3}n({\theta }^2-{\theta }^3)+a_{4}n{\theta }^3\\ & =n{a}_1+n(a_2-a_1)\theta +n(a_3-a_2){\theta }^2+n(a_4-a_3){\theta }^3.\end{array}$$

若使 $T$ 为 $\theta$ 的无偏估计，即要求

$$\{\begin{array}{l}n{a}_1=0,\\ n(a_2-a_1)=1,\\ n(a_3-a_2)=0,\\ n(a_4-a_3)=0,\end{array}$$

解之得

$$a_1=0,a_2=a_3=a_4=\frac{1}{n}.$$

即

$$T=\frac{N_2+N_3+N_4}{n}$$

是 $\theta$ 的无偏估计。

（2）

$$P(N_j=n_j,j=1,2,3,4)=\frac{n!}{n_1!n_2!n_3!n_4!}(1-\theta {)}^{n_1}(\theta -{\theta }^2{)}^{n_2}({\theta }^2-{\theta }^3{)}^{n_3}({\theta }^3{)}^{n_4}$$ $$=\frac{n!}{n_1!n_2!n_3!n_4!}{\theta }^{n_2+2n_3+3n_4}(1-\theta {)}^{n_1+n_2+n_3},$$

对数似然函数为（略去与 $\theta$ 无关的项）

$$\ln L=(n_2+2n_3+3n_4)\ln \theta +(n_1+n_2+n_3)\ln (1-\theta ).$$

于是

$$\frac{\partial \ln L}{\partial \theta }=\frac{n_2+2n_3+3n_4}{\theta }-\frac{n_1+n_2+n_3}{1-\theta },$$ $$\frac{{\partial }^2\ln L}{\partial {\theta }^2}=-\frac{n_2+2n_3+3n_4}{{\theta }^2}-\frac{n_1+n_2+n_3}{(1-\theta {)}^2}.$$

注意到观测量 $n_1,n_2,n_3,n_4$ 是随机变量，且 $E(n_j)=n{p}_j$，故

$$E(n_2+2n_3+3n_4)=n((\theta -{\theta }^2)+2({\theta }^2-{\theta }^3)+3{\theta }^3)=n(\theta +{\theta }^2+{\theta }^3),$$ $$E(n_1+n_2+n_3)=n((1-\theta )+(\theta -{\theta }^2)+({\theta }^2-{\theta }^3))=n(1-{\theta }^3).$$

从而费希尔信息量为

$$\begin{array}{rl}I(\theta )& =-E\left(\frac{{\partial }^2\ln L}{\partial {\theta }^2}\right)\\ & =\frac{n(\theta +{\theta }^2+{\theta }^3)}{{\theta }^2}+\frac{n(1-{\theta }^3)}{(1-\theta {)}^2}=\frac{n(1+\theta +{\theta }^2)}{\theta (1-\theta )}.\end{array}$$

所以 $\theta$ 的无偏估计方差的 C-R 下界为

$$\frac{\theta (1-\theta )}{n(1+\theta +{\theta }^2)}.$$

由于

$$N_2+N_3+N_4=n-N_1\sim b(n,\theta ),$$

于是

$$\mathrm{Var}(T)=\frac{1}{n^2}\mathrm{Var}(N_2+N_3+N_4)=\frac{\theta (1-\theta )}{n}\frac{\theta (1-\theta )}{n(1+\theta +{\theta }^2)},$$

即 $T$ 的方差没有达到 $\theta$ 的无偏估计方差的 C-R 下界。

补充习题 17

设 $x_1,x_2,\cdots ,x_n$ 是来自正态总体 $N(\mu ,{\sigma }^2)$ 的一个样本，若均值 $\mu$ 已知，证明：

1. ${\hat{\sigma }}^2=\frac{1}{n}{\sum }_{i=1}^n(x_i-\mu {)}^2$ 是 ${\sigma }^2$ 的有效估计；
2. $\hat{\sigma }=\frac{1}{n}\sqrt{\frac{\pi }{2}}{\sum }_{i=1}^n|x_i-\mu |$ 是 $\sigma$ 的无偏估计，但不是有效估计。

解 **（1）**由

$$\frac{n{\hat{\sigma }}^2}{{\sigma }^2}\sim {\chi }^2(n)$$

知 $E({\hat{\sigma }}^2)={\sigma }^2$，

$$\mathrm{Var}({\hat{\sigma }}^2)=\frac{2{\sigma }^4}{n}.$$

为了获得 ${\sigma }^2$ 的无偏估计的 C-R 下界，需要费希尔信息量。正态分布 $N(\mu ,{\sigma }^2)$ 的密度函数 $p(x)$ 的对数是

$$\ln p(x)=-\frac{1}{2}\ln 2\pi -\frac{1}{2}\ln {\sigma }^2-\frac{(x-\mu {)}^2}{2{\sigma }^2},$$ $$\frac{\partial \ln p(x)}{\partial {\sigma }^2}=-\frac{1}{2{\sigma }^2}+\frac{(x-\mu {)}^2}{2{\sigma }^4}=\frac{1}{2{\sigma }^4}[(x-\mu {)}^2-{\sigma }^2].$$

由此得 ${\sigma }^2$ 的费希尔信息量

$$\begin{array}{rl}I({\sigma }^2)& =E{\left[\frac{\partial \ln p(x)}{\partial {\sigma }^2}\right]}^2\\ & =\frac{1}{4{\sigma }^8}[E(x-\mu {)}^4-2{\sigma }^{2}E(x-\mu {)}^2+{\sigma }^4]\\ & =\frac{1}{4{\sigma }^8}[3{\sigma }^4-2{\sigma }^4+{\sigma }^4]=\frac{1}{2{\sigma }^4}.\end{array}$$

从而 ${\sigma }^2$ 的无偏估计的 C-R 下界为

$$[nI({\sigma }^2){]}^{-1}={\left[\frac{n}{2{\sigma }^4}\right]}^{-1}=\frac{2{\sigma }^4}{n},$$

此下界与上述 ${\hat{\sigma }}^2$ 无偏估计的方差相等，故此 ${\hat{\sigma }}^2$ 是 ${\sigma }^2$ 的有效估计。

**（2）**由于

$$E(|x_i-\mu |)=\frac{1}{\sqrt{2\pi }\sigma }{\int }_{-\infty }^{\infty }|x-\mu |e^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}\mathrm{d}x=\frac{2\sigma }{\sqrt{2\pi }}{\int }_0^{\infty }y{e}^{-y^2/2}\mathrm{d}y=\sqrt{\frac{2}{\pi }}\sigma .$$

可见，

$$E(\hat{\sigma })=\sigma ,$$

即 $\hat{\sigma }$ 是 $\sigma$ 的无偏估计，其方差为

$$\begin{array}{rl}\mathrm{Var}(\hat{\sigma })& =\frac{\pi }{2n^2}\sum _{i=1}^n\mathrm{Var}(|x_i-\mu |)\\ & =\frac{\pi }{2n}\left[E(x_i-\mu {)}^2-(E|x_i-\mu |{)}^2\right]\\ & =\frac{\pi }{2n}\left({\sigma }^2-\frac{2}{\pi }{\sigma }^2\right)=\frac{\pi -2}{2n}{\sigma }^2.\end{array}$$

为了获得 $\sigma$ 的无偏估计的 C-R 下界，需要知道 $\sigma$ 的费希尔信息量。由于

$$\frac{\partial \ln p(x)}{\partial \sigma }=-\frac{1}{\sigma }+\frac{(x-\mu {)}^2}{{\sigma }^3}=\frac{1}{{\sigma }^3}[(x-\mu {)}^2-{\sigma }^2],$$ $$\begin{array}{rl}I(\sigma )& =E{\left(\frac{\partial \ln p(x)}{\partial \sigma }\right)}^2\\ & =\frac{1}{{\sigma }^6}[E(x-\mu {)}^4-2{\sigma }^{2}E(x-\mu {)}^2+{\sigma }^4]\\ & =\frac{1}{{\sigma }^6}[3{\sigma }^4-2{\sigma }^4+{\sigma }^4]=\frac{2}{{\sigma }^2}.\end{array}$$

从而 $\sigma$ 的无偏估计的 C-R 下界为

$$[nI(\sigma ){]}^{-1}={\left[\frac{2n}{{\sigma }^2}\right]}^{-1}=\frac{{\sigma }^2}{2n},$$

由于无偏估计 $\hat{\sigma }$ 的方差

$$\frac{\pi -2}{2n}{\sigma }^2>\frac{{\sigma }^2}{2n},$$

故 $\hat{\sigma }$ 不是 $\sigma$ 的有效估计。此处，$\sigma$ 的无偏估计的 C-R 下界与 $\hat{\sigma }$ 方差的比为

$$\frac{{\sigma }^2/(2n)}{(\pi -2){\sigma }^2/(2n)}=\frac{1}{\pi -2}=0.876,$$

该比值常称为无偏估计 $\hat{\sigma }$ 的效。

补充习题 18

证明：若 $T_1$ 与 $T_2$ 是未知参数 $g(\theta )$ 的两个 UMVUE，则 $T_1=T_2$ 依概率几乎处处成立。这个命题表明：$g(\theta )$ 的 UMVUE 在几乎处处的意义下是唯一的。

解 首先指出 $T_1-T_2$ 是 $0$ 的无偏估计，则由教材中定理 $\mathrm{6.4.1}$ 知

$$\mathrm{Cov}(T_i,T_1-T_2)=E[T_i(T_1-T_2)]=0,i=1,2,$$

于是

$$\begin{array}{rl}E((T_1-T_2{)}^2)& =E(T_1^2+T_2^2-2T_1{T}_2)\\ & =E[T_1(T_1-T_2)]+E[T_2(T_2-T_1)]=0,\end{array}$$

由此立即可得 $(T_1-T_2{)}^2=0$，即 $T_1=T_2$，几乎处处成立。

补充习题 19

设 $x_1,x_2,\cdots ,x_n$ 是来自正态总体 $N(\mu ,{\sigma }^2)$ 的一个样本，对 ${\sigma }^2$ 考虑如下三个估计：

$${\hat{\sigma }}_1^2=\frac{1}{n-1}\sum _{i=1}^n(x_i-\bar{x}{)}^2,{\hat{\sigma }}_2^2=\frac{1}{n}\sum _{i=1}^n(x_i-\bar{x}{)}^2,{\hat{\sigma }}_3^2=\frac{1}{n+1}\sum _{i=1}^n(x_i-\bar{x}{)}^2.$$

1. 哪一个是 ${\sigma }^2$ 的无偏估计？
2. 哪一个均方误差最小？

解 **（1）**由于

$$\frac{1}{{\sigma }^2}\sum _{i=1}^n(x_i-\bar{x}{)}^2\sim {\chi }^2(n-1),$$

故有

$$E\left[\sum _{i=1}^n(x_i-\bar{x}{)}^2\right]=(n-1){\sigma }^2,$$

从而

$$E({\hat{\sigma }}_1^2)={\sigma }^2,E({\hat{\sigma }}_2^2)=\frac{n-1}{n}{\sigma }^2,E({\hat{\sigma }}_3^2)=\frac{n-1}{n+1}{\sigma }^2.$$

这说明仅有 ${\hat{\sigma }}_1^2$ 是 ${\sigma }^2$ 的无偏估计，而 ${\hat{\sigma }}_2^2$ 与 ${\hat{\sigma }}_3^2$ 是 ${\sigma }^2$ 的有偏估计。

**（2）**我们知道，估计的均方误差是估计的方差加上偏差的平方，即

$$E({\hat{\sigma }}^2-{\sigma }^2{)}^2=\mathrm{Var}({\hat{\sigma }}^2)+(E({\hat{\sigma }}^2)-{\sigma }^2{)}^2.$$

而

$$\mathrm{Var}\left(\sum _{i=1}^n(x_i-\bar{x}{)}^2\right)=2(n-1){\sigma }^4,$$

这给出

$$\mathrm{Var}({\hat{\sigma }}_1^2)=\frac{2{\sigma }^4}{n-1},\mathrm{Var}({\hat{\sigma }}_2^2)=\frac{2(n-1){\sigma }^4}{n^2},\mathrm{Var}({\hat{\sigma }}_3^2)=\frac{2(n-1){\sigma }^4}{(n+1{)}^2}.$$

于是

$$\mathrm{MSE}({\hat{\sigma }}_1^2)=\mathrm{Var}({\hat{\sigma }}_1^2)=\frac{2{\sigma }^4}{n-1},$$ $$\mathrm{MSE}({\hat{\sigma }}_2^2)=\frac{2(n-1)}{n^2}{\sigma }^4+{\left(\frac{n-1}{n}{\sigma }^2-{\sigma }^2\right)}^2=\frac{2n-1}{n^2}{\sigma }^4,$$ $$\mathrm{MSE}({\hat{\sigma }}_3^2)=\frac{2(n-1)}{(n+1{)}^2}{\sigma }^4+{\left(\frac{n-1}{n+1}{\sigma }^2-{\sigma }^2\right)}^2=\frac{2}{n+1}{\sigma }^4.$$

显然

$$\frac{2}{n-1}>\frac{2}{n+1},\frac{2n-1}{n^2}>\frac{2}{n+1}(n>1),$$

所以 ${\hat{\sigma }}_3^2$ 的均方误差最小。

注意，这里 ${\hat{\sigma }}_3^2$ 是 ${\sigma }^2$ 的有偏估计，上述结论表明，在均方误差意义下，有时有偏估计要比无偏估计更为优。

事实上，我们还可讨论 ${\sigma }^2$ 的估计类

$${\hat{\sigma }}_l^2=l\sum (x_i-\bar{x}{)}^2$$

中的均方误差的最小性问题。易知

$$\begin{array}{rl}\mathrm{MSE}({\hat{\sigma }}_l^2)& =(E({\hat{\sigma }}_l^2)-{\sigma }^2{)}^2+\mathrm{Var}({\hat{\sigma }}_l^2)\\ & =((n-1)l-1{)}^2{\sigma }^4+2(n-1)l^2{\sigma }^4.\end{array}$$

不难求出当

$$l=\frac{1}{n+1}$$

时，上式达到最小。所以，在形如 ${\hat{\sigma }}_l^2$ 的估计类中，上述 ${\hat{\sigma }}_3^2$ 均方误差最小。

补充习题 20

设 $x_1,x_2$ 独立同分布，其共同的密度函数为

$$p(x;\theta )=\frac{3x^2}{{\theta }^3},0<x<\theta ,\theta >0.$$

1. 证明：$T_1=\frac{2}{3}(x_1+x_2)$ 和 $T_2=\frac{7}{6}\max \{x_1,x_2\}$ 都是 $\theta$ 的无偏估计；
2. 计算 $T_1$ 和 $T_2$ 的均方误差并进行比较；
3. 证明：在均方误差意义下，在形如 $T_c=c\max \{x_1,x_2\}$ 的估计中，$T_{8/7}$ 最优。

解 **（1）**先计算总体均值为

$$E(X)={\int }_0^{\theta }x\cdot \frac{3x^2}{{\theta }^3}\mathrm{d}x=\frac{3}{4}\theta ,$$

故

$$E(T_1)=\frac{2}{3}\cdot 2E(X)=\theta ,$$

这说明 $T_1$ 是 $\theta$ 的无偏估计。又总体分布函数

$$F(x;\theta )={\int }_0^x\frac{3u^2}{{\theta }^3}\mathrm{d}u={\left(\frac{x}{\theta }\right)}^3,0<x<\theta ,$$

记

$$Y=\max \{x_1,x_2\},$$

则 $Y$ 的密度函数为

$$f(y;\theta )=2F(y;\theta )p(y;\theta )=\frac{6y^5}{{\theta }^6},0<y<\theta .$$

于是有

$$E(T_2)=\frac{7}{6}E(Y)=\frac{7}{6}{\int }_0^{\theta }y\cdot \frac{6y^5}{{\theta }^6}\mathrm{d}y=\frac{7}{6}\cdot \frac{6}{7}\theta =\theta .$$

这表明 $T_2$ 也是 $\theta$ 的无偏估计。

**（2）**无偏估计的方差就是均方误差。由于

$$E(x_1^2)={\int }_0^{\theta }{x}^2\cdot \frac{3x^2}{{\theta }^3}\mathrm{d}x=\frac{3}{5}{\theta }^2,$$ $$\mathrm{Var}(x_1)=E(x_1^2)-(E(x_1){)}^2=\frac{3}{5}{\theta }^2-{\left(\frac{3}{4}\theta \right)}^2=\frac{3}{80}{\theta }^2,$$

故有

$$\mathrm{MSE}(T_1)=\mathrm{Var}(T_1)=\frac{4}{9}\cdot 2\mathrm{Var}(x_1)=\frac{8}{9}\cdot \frac{3}{80}{\theta }^2=\frac{1}{30}{\theta }^2.$$

又

$$E(Y^2)={\int }_0^{\theta }{y}^2\cdot \frac{6y^5}{{\theta }^6}\mathrm{d}y=\frac{3}{4}{\theta }^2,$$ $$\mathrm{Var}(Y)=E(Y^2)-(E(Y){)}^2=\frac{3}{4}{\theta }^2-{\left(\frac{6}{7}\theta \right)}^2=\frac{3}{196}{\theta }^2,$$

从而

$$\mathrm{MSE}(T_2)=\mathrm{Var}(T_2)=\frac{49}{36}\cdot \frac{3}{196}{\theta }^2=\frac{1}{48}{\theta }^2.$$

由于 $\mathrm{MSE}(T_1)>\mathrm{MSE}(T_2)$，因此在均方误差意义下，$T_2$ 优于 $T_1$。

**（3）**对形如

$$T_c=c\max \{x_1,x_2\}$$

的估计有

$$E(T_c)=\frac{6}{7}c\theta ,E(T_c^2)=\frac{3}{4}{c}^2{\theta }^2,$$

故

$$\mathrm{MSE}(T_c)=E(T_c-\theta {)}^2=E(T_c^2)-2\theta E(T_c)+{\theta }^2=\left(\frac{3}{4}{c}^2-\frac{12}{7}c+1\right){\theta }^2.$$

因此当

$$c=\frac{12/7}{3/2}=\frac{8}{7}$$

时，上述均方误差最小。所以在均方误差意义下，在形如 $T_c=c\max \{x_1,x_2\}$ 的估计中，$T_{8/7}$ 最优。