§6.1 点估计的概念与无偏性

依赖于

• 无显式依赖

被以下题目直接调用

• 无

正文部分

§6.1 点估计的概念与无偏性

1. 统计中的参数常指以下几种情况

1. 分布中所含的未知参数 $\theta$ 及其某个函数 $g(\theta )$；
2. 分布的各种特征数，如期望、方差、中位数等。

参数 $\theta$ 可能取值的范围 $\Theta$ 称为参数空间。

2. 参数估计的两种形式：点估计与区间估计 参数的点估计是指：对未知参数 $\theta$ 选用一个统计量

$$\hat{\theta }=\hat{\theta }(x_1,x_2,\dots ,x_n)$$

的取值作为 $\theta$ 的估计值，$\hat{\theta }$ 就是 $\theta$ 的点估计（量），简称估计。好的点估计来自好的统计思想。区间估计见 §6.6。

3. 无偏性与可估参数 设

$$\hat{\theta }=\hat{\theta }(x_1,x_2,\dots ,x_n)$$

是 $\theta$ 的一个估计，$\theta$ 的参数空间为 $\Theta$，若对任意的 $\theta \in \Theta$，有

$$E(\hat{\theta })=\theta ,$$

则称 $\hat{\theta }$ 是 $\theta$ 的无偏估计，否则称为有偏估计。

假如对任意 $\theta \in \Theta$，有

$$\underset{n\to \infty }{\lim }E(\hat{\theta })=\theta ,$$

则称 $\hat{\theta }$ 是 $\theta$ 的渐近无偏估计。

并不是所有的参数都存在无偏估计，当参数存在无偏估计时称该参数是可估的。

4. 有效性 设 ${\hat{\theta }}_1,{\hat{\theta }}_2$ 是 $\theta$ 的两个无偏估计，如果对任意的 $\theta \in \Theta$ 有

$$\mathrm{Var}({\hat{\theta }}_1)\le \mathrm{Var}({\hat{\theta }}_2),$$

且至少有一个 $\theta \in \Theta$ 使得上述不等号严格成立，则称 ${\hat{\theta }}_1$ 比 ${\hat{\theta }}_2$ 有效。

习题与解答 6.1

习题 6.1-1

设 $x_1,x_2,x_3$ 是取自某总体的一个容量为 $3$ 的样本，试证下列统计量都是该总体均值 $\mu$ 的无偏估计，并在方差存在时指出哪一个估计的有效性最差。

$$\text{(1)}{\hat{\mu }}_1=\frac{1}{2}{x}_1+\frac{1}{3}{x}_2+\frac{1}{6}{x}_3;$$ $$\text{(2)}{\hat{\mu }}_2=\frac{1}{3}{x}_1+\frac{1}{3}{x}_2+\frac{1}{3}{x}_3;$$ $$\text{(3)}{\hat{\mu }}_3=\frac{1}{6}{x}_1+\frac{1}{6}{x}_2+\frac{2}{3}{x}_3.$$

解 先求三个统计量的数学期望，

$$E({\hat{\mu }}_1)=\frac{1}{2}E(x_1)+\frac{1}{3}E(x_2)+\frac{1}{6}E(x_3)=\frac{1}{2}\mu +\frac{1}{3}\mu +\frac{1}{6}\mu =\mu ,$$ $$E({\hat{\mu }}_2)=\frac{1}{3}E(x_1)+\frac{1}{3}E(x_2)+\frac{1}{3}E(x_3)=\frac{1}{3}\mu +\frac{1}{3}\mu +\frac{1}{3}\mu =\mu ,$$ $$E({\hat{\mu }}_3)=\frac{1}{6}E(x_1)+\frac{1}{6}E(x_2)+\frac{2}{3}E(x_3)=\frac{1}{6}\mu +\frac{1}{6}\mu +\frac{2}{3}\mu =\mu .$$

这说明它们都是总体均值 $\mu$ 的无偏估计，下面求它们的方差，不妨设总体的方差为 ${\sigma }^2$，则

$$\mathrm{Var}({\hat{\mu }}_1)=\frac{1}{4}\mathrm{Var}(x_1)+\frac{1}{9}\mathrm{Var}(x_2)+\frac{1}{36}\mathrm{Var}(x_3)=\frac{7}{18}{\sigma }^2,$$ $$\mathrm{Var}({\hat{\mu }}_2)=\frac{1}{9}\mathrm{Var}(x_1)+\frac{1}{9}\mathrm{Var}(x_2)+\frac{1}{9}\mathrm{Var}(x_3)=\frac{1}{3}{\sigma }^2,$$ $$\mathrm{Var}({\hat{\mu }}_3)=\frac{1}{36}\mathrm{Var}(x_1)+\frac{1}{36}\mathrm{Var}(x_2)+\frac{4}{9}\mathrm{Var}(x_3)=\frac{1}{2}{\sigma }^2.$$

不难看出

$$\mathrm{Var}({\hat{\mu }}_2)<\mathrm{Var}({\hat{\mu }}_1)<\mathrm{Var}({\hat{\mu }}_3),$$

从而 ${\hat{\mu }}_3$ 的有效性最差。

由此可猜测，当用样本的凸组合

$$\sum _{i=1}^n{a}_i{x}_i$$

估计总体均值时，样本均值 $\bar{x}$ 是最有效的。

习题 6.1-2

设 $x_1,x_2,\dots ,x_n$ 是来自 $Exp(\lambda )$ 的样本，已知 $\bar{x}$ 为 $1/\lambda$ 的无偏估计，试说明 $1/\bar{x}$ 是否为 $\lambda$ 的无偏估计。

解 因为 $x_1,x_2,\dots ,x_n$ i.i.d. $\sim Exp(\lambda )$，所以

$$y=\sum _{i=1}^n{x}_i\sim Ga(n,\lambda ),$$

相应的密度函数为

$$p(y;n,\lambda )=\frac{{\lambda }^n}{\Gamma (n)}{y}^{n-1}{e}^{-\lambda y},y>0.$$

于是

$$\begin{array}{rl}E(1/y)& ={\int }_0^{\infty }\frac{{\lambda }^n}{\Gamma (n)}{y}^{n-2}{e}^{-\lambda y}dy\\ & =\frac{\lambda }{n-1}{\int }_0^{\infty }\frac{{\lambda }^{n-1}}{\Gamma (n-1)}{y}^{n-2}{e}^{-\lambda y}dy\\ & =\frac{\lambda }{n-1}.\end{array}$$

所以，

$$E(1/\bar{x})=n\lambda \cdot \frac{1}{n-1}=\frac{n\lambda }{n-1}.$$

即 $1/\bar{x}$ 不是 $\lambda$ 的无偏估计，但它是 $\lambda$ 的渐近无偏估计，经修偏，

$$\frac{n-1}{n\bar{x}}$$

是 $\lambda$ 的无偏估计。

习题 6.1-3

设 $\hat{\theta }$ 是参数 $\theta$ 的无偏估计，且有 $\mathrm{Var}(\hat{\theta })>0$，试证 $(\hat{\theta }{)}^2$ 不是 ${\theta }^2$ 的无偏估计。

解 由方差的定义可知，

$$\mathrm{Var}(\hat{\theta })=E({\hat{\theta }}^2)-(E(\hat{\theta }){)}^2>0.$$

由于 $\hat{\theta }$ 是参数 $\theta$ 的无偏估计，即

$$E(\hat{\theta })=\theta ,$$

因而

$$E({\hat{\theta }}^2)=\mathrm{Var}(\hat{\theta })+(E(\hat{\theta }){)}^2=\mathrm{Var}(\hat{\theta })+{\theta }^2>{\theta }^2,$$

所以 $(\hat{\theta }{)}^2$ 不是 ${\theta }^2$ 的无偏估计。

习题 6.1-4

设总体 $X\sim N(\mu ,{\sigma }^2)$，$x_1,x_2,\dots ,x_n$ 是来自该总体的一个样本。试确定常数 $c$ 使

$$c\sum _{i=1}^{n-1}(x_{i+1}-x_i{)}^2$$

为 ${\sigma }^2$ 的无偏估计。

解 由于总体 $X\sim N(\mu ,{\sigma }^2)$，这给出

$$E(x_i^2)={\sigma }^2+{\mu }^2,E(x_i{x}_{i-1})=E(x_i)E(x_{i-1})={\mu }^2.$$

于是

$$\begin{array}{rl}E\left(\sum _{i=1}^{n-1}(x_{i+1}-x_i{)}^2\right)& =E(x_1^2+2x_2^2+\cdots +2x_{n-1}^2+x_n^2-2x_1{x}_2-\cdots -2x_{n-1}{x}_n)\\ & =[2(n-1)({\sigma }^2+{\mu }^2)-2(n-1){\mu }^2]\\ & =2(n-1){\sigma }^2.\end{array}$$

若要使

$$c\sum _{i=1}^{n-1}(x_{i+1}-x_i{)}^2$$

为 ${\sigma }^2$ 的无偏估计，即

$$cE\left(\sum _{i=1}^{n-1}(x_{i+1}-x_i{)}^2\right)={\sigma }^2,$$

这给出

$$c=\frac{1}{2(n-1)}.$$

习题 6.1-5

设 $x_1,x_2,\dots ,x_n$ 是来自下列总体的样本：

$$p(x;\theta )=\{\begin{array}{ll}1,& \theta -\frac{1}{2}\le x\le \theta +\frac{1}{2},-\infty <\theta <\infty ,\\ 0,& \text{其他}.\end{array}$$

证明样本均值 $\bar{x}$ 及 $\frac{1}{2}(x_{(1)}+x_{(n)})$ 都是 $\theta$ 的无偏估计，问何者更有效？

解 由总体

$$X\sim U\left(\theta -\frac{1}{2},\theta +\frac{1}{2}\right),$$

得

$$E(X)=\theta ,\mathrm{Var}(X)=\frac{1}{12}.$$

因而

$$E(\bar{x})=\theta ,$$

这首先说明样本均值

$${\hat{\theta }}_1=\bar{x}$$

是 $\theta$ 的无偏估计，且

$$\mathrm{Var}({\hat{\theta }}_1)=\frac{1}{12n}.$$

为求

$${\hat{\theta }}_2=\frac{1}{2}(x_{(1)}+x_{(n)})$$

的均值与方差，注意到

$$Y=X-\left(\theta -\frac{1}{2}\right)\sim U(0,1),$$

令

$$y_i=x_i-\left(\theta -\frac{1}{2}\right),i=1,2,\dots ,n,$$

则

$${\hat{\theta }}_2=\frac{1}{2}(x_{(1)}+x_{(n)})=\frac{1}{2}(y_{(1)}+y_{(n)})+\theta -\frac{1}{2}.$$

由于

$$y_{(i)}\sim Be(i,n-i+1),$$

故

$$E(y_{(1)})=\frac{1}{n+1},E(y_{(n)})=\frac{n}{n+1},$$

从而

$$E({\hat{\theta }}_2)=\frac{1}{2}E(y_{(1)}+y_{(n)})+\theta -\frac{1}{2}=\theta .$$

这就证明了

$$\frac{1}{2}(x_{(1)}+x_{(n)})$$

是 $\theta$ 的无偏估计。又注意到（参见第五章 5.3 节习题 33）

$$y_{(n)}-y_{(1)}\sim Be(n-1,2),$$

所以

$$\mathrm{Var}(y_{(1)})=\mathrm{Var}(y_{(n)})=\frac{n}{(n+1{)}^2(n+2)},$$ $$\mathrm{Var}(y_{(n)}-y_{(1)})=\frac{2(n-1)}{(n+1{)}^2(n+2)}.$$

从而

$$\begin{array}{rl}\mathrm{Cov}(y_{(1)},y_{(n)})& =\frac{1}{2}\left[\mathrm{Var}(y_{(n)})+\mathrm{Var}(y_{(1)})-\mathrm{Var}(y_{(n)}-y_{(1)})\right]\\ & =\frac{1}{(n+1{)}^2(n+2)}.\end{array}$$

于是

$$\begin{array}{rl}\mathrm{Var}\left(\frac{1}{2}(x_{(1)}+x_{(n)})\right)& =\frac{1}{4}\left[\mathrm{Var}(y_{(1)})+\mathrm{Var}(y_{(n)})+2\mathrm{Cov}(y_{(1)},y_{(n)})\right]\\ & =\frac{1}{4}\left[\frac{2n}{(n+1{)}^2(n+2)}+\frac{2}{(n+1{)}^2(n+2)}\right]\\ & =\frac{1}{2(n+1)(n+2)}.\end{array}$$

在 $n>2$ 时，

$$\frac{1}{12n}>\frac{1}{2(n+1)(n+2)}.$$

这说明作为 $\theta$ 的无偏估计，在 $n>2$ 时，

$$\frac{1}{2}(x_{(1)}+x_{(n)})$$

比样本均值 $\bar{x}$ 有效。

事实上，这里 $(x_{(1)},x_{(n)})$ 是充分统计量，这与充分性原则是一致的。

习题 6.1-6

设 $x_1,x_2,x_3$ 服从均匀分布 $U(0,\theta )$，试证

$$\frac{4}{3}{x}_{(3)}$$

及

$$4x_{(1)}$$

都是 $\theta$ 的无偏估计，哪个更有效？

解 由 $X\sim U(0,\theta )$ 可知 $x_{(1)},x_{(3)}$ 的密度函数分别为

$$f_1(x)=3{\left(\frac{\theta -x}{\theta }\right)}^2\cdot \frac{1}{\theta }=\frac{3}{{\theta }^3}(\theta -x{)}^2,0<x<\theta ,$$ $$f_3(x)=3{\left(\frac{x}{\theta }\right)}^2\cdot \frac{1}{\theta }=\frac{3}{{\theta }^3}{x}^2,0<x<\theta .$$

从而

$$E(x_{(1)})=\frac{3}{{\theta }^3}{\int }_0^{\theta }x(\theta -x{)}^{2}dx=\frac{\theta }{4},E(x_{(3)})=\frac{3}{{\theta }^3}{\int }_0^{\theta }{x}^{3}dx=\frac{3}{4}\theta ,$$

故，由

$$E(4x_{(1)})=\theta ,E\left(\frac{4}{3}{x}_{(3)}\right)=\theta$$

知两者均为 $\theta$ 的无偏估计。

又可算得

$$E(x_{(1)}^2)=\frac{1}{10}{\theta }^2,E(x_{(3)}^2)=\frac{3}{5}{\theta }^2,$$

从而

$$\mathrm{Var}(4x_{(1)})=\frac{3}{5}{\theta }^2,\mathrm{Var}\left(\frac{4}{3}{x}_{(3)}\right)=\frac{{\theta }^2}{15}.$$

故

$$\mathrm{Var}\left(\frac{4}{3}{x}_{(3)}\right)<\mathrm{Var}(4x_{(1)}),$$

即

$$\frac{4}{3}{x}_{(3)}$$

更有效。

事实上，这里 $x_{(3)}$ 是充分统计量，这个结果与充分性原则是一致的。

习题 6.1-7

设从均值为 $\mu$、方差为 ${\sigma }^2>0$ 的总体中分别抽取容量为 $n_1$ 和 $n_2$ 的两个独立样本，${\bar{x}}_1$ 和 ${\bar{x}}_2$ 分别是这两个样本的均值。试证，对于任意常数 $a,b$（$a+b=1$），

$$Y=a{\bar{x}}_1+b{\bar{x}}_2$$

都是 $\mu$ 的无偏估计，并确定常数 $a,b$ 使 $\mathrm{Var}(Y)$ 达到最小。

解 由于 ${\bar{x}}_1$ 和 ${\bar{x}}_2$ 是容量分别为 $n_1$ 和 $n_2$ 的两独立样本的均值，故

$$E({\bar{x}}_1)=\mu ,E({\bar{x}}_2)=\mu ,\mathrm{Var}({\bar{x}}_1)=\frac{{\sigma }^2}{n_1},\mathrm{Var}({\bar{x}}_2)=\frac{{\sigma }^2}{n_2}.$$

因而

$$E(Y)=E(a{\bar{x}}_1+b{\bar{x}}_2)=aE({\bar{x}}_1)+bE({\bar{x}}_2)=a\mu +b\mu =(a+b)\mu =\mu ,$$

这证明了

$$Y=a{\bar{x}}_1+b{\bar{x}}_2$$

是 $\mu$ 的无偏估计。

又由 $a+b=1$ 知，

$$Y=a{\bar{x}}_1+(1-a){\bar{x}}_2,$$

从而

$$\mathrm{Var}(Y)=\frac{a^2{\sigma }^2}{n_1}+\frac{(1-a{)}^2{\sigma }^2}{n_2}={\sigma }^2\left[\left(\frac{1}{n_1}+\frac{1}{n_2}\right)a^2-\frac{2}{n_2}a+\frac{1}{n_2}\right].$$

由求导知，当

$$a=\frac{1/n_2}{1/n_1+1/n_2}=\frac{n_1}{n_1+n_2}$$

时，$\mathrm{Var}(Y)$ 达到最小，此时

$$b=\frac{n_2}{n_1+n_2}.$$

这个结果表明，来自同一总体的两个容量为 $n_1$ 和 $n_2$ 的样本的合样本（样本量为 $n_1+n_2$）的均值

$$\bar{x}=\frac{n_1{\bar{x}}_1+n_2{\bar{x}}_2}{n_1+n_2}$$

是线性无偏估计类

$$U=\{a{\bar{x}}_1+(1-a){\bar{x}}_2\}$$

中方差最小的。

习题 6.1-8

设总体 $X$ 的均值为 $\mu$，方差为 ${\sigma }^2$，$x_1,x_2,\dots ,x_n$ 是来自该总体的一个样本，$T(x_1,x_2,\dots ,x_n)$ 为 $\mu$ 的任一线性无偏估计量。证明：$\bar{x}$ 与 $T$ 的相关系数为

$$\sqrt{\mathrm{Var}(\bar{x})/\mathrm{Var}(T)}.$$

解 由于 $T(x_1,x_2,\dots ,x_n)$ 为 $\mu$ 的线性无偏估计，故

$$T(x_1,x_2,\dots ,x_n)=l_1{x}_1+l_2{x}_2+\cdots +l_n{x}_n,$$

其中

$$\sum _{i=1}^n{l}_i=1.$$

于是

$$\mathrm{Cov}(T,\bar{x})=\sum _{i=1}^n\frac{l_i}{n}\mathrm{Var}(x_i)=\frac{{\sigma }^2}{n}.$$

而

$$\mathrm{Var}(\bar{x})=\frac{{\sigma }^2}{n},$$

故有

$$\mathrm{Cov}(T,\bar{x})=\mathrm{Var}(\bar{x}).$$

从而

$$\mathrm{Corr}(T,\bar{x})=\frac{\mathrm{Cov}(T,\bar{x})}{\sqrt{\mathrm{Var}(\bar{x})\mathrm{Var}(T)}}=\frac{\mathrm{Var}(\bar{x})}{\sqrt{\mathrm{Var}(\bar{x})\mathrm{Var}(T)}}=\sqrt{\mathrm{Var}(\bar{x})/\mathrm{Var}(T)}.$$

习题 6.1-9

设有 $k$ 台仪器，已知用第 $i$ 台仪器测量的标准差为 ${\sigma }_i$（$i=1,2,\dots ,k$）。用这些仪器独立地对某一物理量 $\theta$ 各观察一次，分别得到 $x_1,x_2,\dots ,x_k$，设仪器都没有系统偏差。问 $a_1,a_2,\dots ,a_k$ 应取何值，方能使

$$\hat{\theta }=\sum _{i=1}^k{a}_i{x}_i$$

成为 $\theta$ 的无偏估计，且方差达到最小？

解 若要使

$$\hat{\theta }=\sum _{i=1}^k{a}_i{x}_i$$

为 $\theta$ 的无偏估计，即

$$E(\hat{\theta })=E\left(\sum _{i=1}^k{a}_i{x}_i\right)=a_1\theta +a_2\theta +\cdots +a_k\theta =\theta \sum _{i=1}^k{a}_i=\theta ,$$

则必须有

$$\sum _{i=1}^k{a}_i=1.$$

此时，

$$\mathrm{Var}(\hat{\theta })=\mathrm{Var}\left(\sum _{i=1}^k{a}_i{x}_i\right)=a_1^2{\sigma }_1^2+a_2^2{\sigma }_2^2+\cdots +a_k^2{\sigma }_k^2.$$

因此，问题转化为在

$$\sum _{i=1}^k{a}_i=1$$

的条件下，求

$$\sum _{i=1}^k{a}_i^2{\sigma }_i^2$$

的极小值。

令

$$f(a_1,a_2,\dots ,a_k)=\sum _{i=1}^k{a}_i^2{\sigma }_i^2-\lambda \left(\sum _{i=1}^k{a}_i-1\right),$$

由

$$\frac{\partial f}{\partial a_i}=0,i=1,2,\dots ,k,\text{和}\frac{\partial f}{\partial \lambda }=0,$$

得到

$$\{\begin{array}{rl}2a_i{\sigma }_i^2-\lambda & =0,\\ \sum _{i=1}^k{a}_i& =1.\end{array}$$

从第一式中可以得到

$$a_i=\frac{\lambda }{2{\sigma }_i^2},$$

代入第二式中，解出

$$\lambda ={\left(\sum _{i=1}^k\frac{1}{2{\sigma }_i^2}\right)}^{-1},$$

从而

$$a_i=\frac{1/{\sigma }_i^2}{{\sum }_{j=1}^{k}1/{\sigma }_j^2},i=1,2,\dots ,k.$$

各 $1/{\sigma }_j^2$ 可视作仪器精度，这表明各观测值以精度为权重是最好的；若精度都一样，则等权重最优。

习题 6.1-10

设 $x_1,x_2,\dots ,x_n$ 是来自 $N(\theta ,1)$ 的样本，证明 $g(\theta )=|\theta |$ 没有无偏估计（提示：利用 $g(\theta )$ 在 $\theta =0$ 处不可导）。

解 （反证法）假设 $T(x_1,x_2,\dots ,x_n)$ 为 $g(\theta )$ 的无偏估计，则

$${\left(\frac{1}{\sqrt{2\pi }}\right)}^n{\int }_{-\infty }^{\infty }T(x_1,x_2,\dots ,x_n)\exp \left\{-\sum _{i=1}^n\frac{(x_i-\theta {)}^2}{2}\right\}d{x}_{1}d{x}_2\cdots d{x}_n=|\theta |.$$

由上式可知，等式的左边关于 $\theta$ 处处可导，而等式的右边在 $\theta =0$ 处不存在导数。因此，假设不成立，即 $g(\theta )=|\theta |$ 没有无偏估计。

习题 6.1-11

设总体 $X$ 服从正态分布 $N(\mu ,{\sigma }^2)$，$x_1,x_2,\dots ,x_n$ 为来自总体 $X$ 的样本，为了得到标准差 $\sigma$ 的估计量，考虑统计量

$${\gamma }_1=\frac{1}{n}\sum _{i=1}^n|x_i-\bar{x}|,\bar{x}=\frac{1}{n}\sum _{i=1}^n{x}_i,n\ge 2,$$ $${\gamma }_2=\frac{1}{n(n-1)}\sum _{i=1}^n\sum _{j=1}^n|x_i-x_j|,n\ge 2,$$

求常数 $C_1$ 与 $C_2$，使得 $C_1{\gamma }_1$ 与 $C_2{\gamma }_2$ 都是 $\sigma$ 的无偏估计。

解 由期望的公式及对称性，我们只需要求出

$$E(|x_1-\bar{x}|)$$

和

$$E(|x_1-x_2|)$$

即

注意到

$$x_1-\bar{x}\sim N\left(0,\frac{n-1}{n}{\sigma }^2\right),x_1-x_2\sim N(0,2{\sigma }^2),$$

我们只需要求出如下期望即可完成本题：设 $y\sim N(0,{\sigma }^2)$，则

$$E(|y|)=2{\int }_0^{\infty }\frac{1}{\sqrt{2\pi }\sigma }y{e}^{-y^2/(2{\sigma }^2)}dy={\int }_0^{\infty }\frac{1}{\sqrt{2\pi }\sigma }{e}^{-z/(2{\sigma }^2)}dz={\int }_0^{\infty }\frac{\sqrt{2}\sigma }{\sqrt{\pi }}{e}^{-t}dt=\frac{\sqrt{2}\sigma }{\sqrt{\pi }}.$$

于是有

$$E(|x_1-\bar{x}|)=\sqrt{\frac{n-1}{n}}\frac{\sqrt{2}\sigma }{\sqrt{\pi }},E(|x_1-x_2|)=\frac{2\sigma }{\sqrt{\pi }},$$

从而给出

$$C_1=\sqrt{\frac{n\pi }{2(n-1)}},C_2=\frac{\sqrt{\pi }}{2}.$$

补充习题及解答

补充习题 12

设分别自总体 $N({\mu }_1,{\sigma }^2)$ 和 $N({\mu }_2,{\sigma }^2)$ 中抽取容量为 $n_1$ 和 $n_2$ 的两独立样本，其样本方差分别为 $s_1^2,s_2^2$。试证，对于任意常数 $a,b(a+b=1)$，$Z=a{s}_1^2+b{s}_2^2$ 都是 ${\sigma }^2$ 的无偏估计，并确定常数 $a,b$ 使 $\mathrm{Var}(Z)$ 达到最小。

解 由已知条件有

$$\frac{(n_1-1)s_1^2}{{\sigma }^2}\sim {\chi }^2(n_1-1),\frac{(n_2-1)s_2^2}{{\sigma }^2}\sim {\chi }^2(n_2-1),$$

且 $s_1^2,s_2^2$ 独立，于是

$$E(s_1^2)=E(s_2^2)={\sigma }^2,$$

故

$$E(Z)=E(a{s}_1^2+b{s}_2^2)=aE(s_1^2)+bE(s_2^2)=a{\sigma }^2+b{\sigma }^2=(a+b){\sigma }^2={\sigma }^2,$$

这证明了 $Z=a{s}_1^2+b{s}_2^2$ 是 ${\sigma }^2$ 的无偏估计。

又

$$\mathrm{Var}(s_1^2)=\frac{2{\sigma }^4}{n_1-1},\mathrm{Var}(s_2^2)=\frac{2{\sigma }^4}{n_2-1},$$

从而

$$\begin{array}{rl}\mathrm{Var}(Z)& =a^2\mathrm{Var}(s_1^2)+(1-a{)}^2\mathrm{Var}(s_2^2)\\ & =2\left[\frac{n_1+n_2-2}{(n_1-1)(n_2-1)}{a}^2-\frac{2}{n_2-1}a+\frac{1}{n_2-1}\right]{\sigma }^4.\end{array}$$

因而当

$$a=\frac{n_1-1}{n_1+n_2-2}$$

时，$\mathrm{Var}(Z)$ 达到最小，此时

$$b=\frac{n_2-1}{n_1+n_2-2},$$

该无偏估计为

$${\hat{\sigma }}^2=\frac{\sum _{i=1}^{n_1}(x_i-\bar{x}{)}^2+\sum _{i=1}^{n_2}(y_i-\bar{y}{)}^2}{n_1+n_2-2}.$$

这个结果表明，对来自方差相等（不论均值是否相等）的两个正态总体的容量为 $n_1$ 和 $n_2$ 的样本，上述 ${\hat{\sigma }}^2$ 是 ${\sigma }^2$ 的线性无偏估计类

$$U=\{a{s}_1^2+(1-a)s_2^2\}$$

中方差最小的。

补充习题 13

设 $x_1,x_2,\cdots ,x_n$ 是取自均匀分布总体 $U({\theta }_1,{\theta }_2)$ 的一个样本，若分别取

$${\hat{\theta }}_1=\min \{x_1,x_2,\cdots ,x_n\},{\hat{\theta }}_2=\max \{x_1,x_2,\cdots ,x_n\}$$

作为 ${\theta }_1,{\theta }_2$ 的估计量，问 ${\hat{\theta }}_1,{\hat{\theta }}_2$ 是否为 ${\theta }_1,{\theta }_2$ 的无偏估计？如果不是，如何修正才能获得 ${\theta }_1,{\theta }_2$ 的无偏估计？

解 令

$$Y=\frac{X-{\theta }_1}{{\theta }_2-{\theta }_1},$$

则 $Y\sim U(0,1)$，记 $y_{(1)},y_{(2)},\cdots ,y_{(n)}$ 为样本相应的次序统计量，于是有

$$E(y_{(1)})=\frac{1}{n+1},E(y_{(n)})=\frac{n}{n+1},$$

从而

$$E({\hat{\theta }}_1)={\theta }_1+({\theta }_2-{\theta }_1)\frac{1}{n+1}=\frac{{\theta }_2+n{\theta }_1}{n+1},$$ $$E({\hat{\theta }}_2)={\theta }_1+({\theta }_2-{\theta }_1)\frac{n}{n+1}=\frac{n{\theta }_2+{\theta }_1}{n+1}.$$

可见 ${\hat{\theta }}_1,{\hat{\theta }}_2$ 不是 ${\theta }_1,{\theta }_2$ 的无偏估计。由

$$\{\begin{array}{rl}n{\theta }_1+{\theta }_2& =(n+1)E\left(x_{(1)}\right),\\ {\theta }_1+n{\theta }_2& =(n+1)E\left(x_{(n)}\right),\end{array}$$

解之得

$$\{\begin{array}{rl}{\theta }_1& =\frac{nE(x_{(1)})-E(x_{(n)})}{n-1},\\ {\theta }_2& =\frac{nE(x_{(n)})-E(x_{(1)})}{n-1},\end{array}$$

因而

$${\hat{\theta }}_1=\frac{n{x}_{(1)}-x_{(n)}}{n-1},{\hat{\theta }}_2=\frac{n{x}_{(n)}-x_{(1)}}{n-1}$$

是 ${\theta }_1,{\theta }_2$ 的无偏估计。

补充习题 14

设 $x_1,x_2,\cdots ,x_n$ 是来自二点分布 $b(1,p)$ 的一个样本，

1. 寻求 $p^2$ 的无偏估计；
2. 寻求 $p(1-p)$ 的无偏估计；
3. 证明 $\frac{1}{p}$ 没有无偏估计。

解 (1) ${\bar{x}}^2$ 是 $p^2$ 的一个直观估计，但不是 $p^2$ 的无偏估计，这是因为

$$E({\bar{x}}^2)=\mathrm{Var}(\bar{x})+[E(\bar{x}){]}^2=\frac{p(1-p)}{n}+p^2=\frac{p}{n}+\frac{n-1}{n}{p}^2\ne p^2,$$

由此可见

$$\widehat{p^2}=\frac{n}{n-1}\left({\bar{x}}^2-\frac{\bar{x}}{n}\right)$$

是 $p^2$ 的无偏估计。

(2) $\bar{x}(1-\bar{x})=\bar{x}-{\bar{x}}^2$ 是 $p(1-p)$ 的直观估计，但不是 $p(1-p)$ 的无偏估计，这是因为

$$E(\bar{x}-{\bar{x}}^2)=p-\left(\frac{p(1-p)}{n}+p^2\right)=\frac{n-1}{n}p(1-p)\ne p(1-p),$$

由此可见

$$\frac{n}{n-1}\bar{x}(1-\bar{x})$$

是 $p(1-p)$ 的一个无偏估计。

(3) 反证法。倘若 $g(x_1,x_2,\cdots ,x_n)$ 是 $\frac{1}{p}$ 的无偏估计，则有

$$\sum _{x_1,x_2,\cdots ,x_n}g(x_1,x_2,\cdots ,x_n)p^{{\sum }_{i=1}^n{x}_i}(1-p{)}^{n-{\sum }_{i=1}^n{x}_i}=\frac{1}{p},$$

或者

$$\sum _{x_1,x_2,\cdots ,x_n}g(x_1,x_2,\cdots ,x_n)p^{{\sum }_{i=1}^n{x}_i+1}(1-p{)}^{n-{\sum }_{i=1}^n{x}_i}-1=0.$$

左端是关于 $p$ 的 $n+1$ 次方程，但它对每个 $p\in (0,1)$ 都成立，这是不可能的，故上述假设不成立。因此 $\frac{1}{p}$ 没有无偏估计。