06-第六章 参数估计

依赖于

• 无显式依赖

被以下题目直接调用

• 无

正文部分

§6.1 点估计的概念与无偏性

1. 统计中的参数常指以下几种情况

1. 分布中所含的未知参数 $\theta$ 及其某个函数 $g(\theta )$；
2. 分布的各种特征数，如期望、方差、中位数等。

参数 $\theta$ 可能取值的范围 $\Theta$ 称为参数空间。

2. 参数估计的两种形式：点估计与区间估计 参数的点估计是指：对未知参数 $\theta$ 选用一个统计量

$$\hat{\theta }=\hat{\theta }(x_1,x_2,\dots ,x_n)$$

的取值作为 $\theta$ 的估计值，$\hat{\theta }$ 就是 $\theta$ 的点估计（量），简称估计。好的点估计来自好的统计思想。区间估计见 §6.6。

3. 无偏性与可估参数 设

$$\hat{\theta }=\hat{\theta }(x_1,x_2,\dots ,x_n)$$

是 $\theta$ 的一个估计，$\theta$ 的参数空间为 $\Theta$，若对任意的 $\theta \in \Theta$，有

$$E(\hat{\theta })=\theta ,$$

则称 $\hat{\theta }$ 是 $\theta$ 的无偏估计，否则称为有偏估计。

假如对任意 $\theta \in \Theta$，有

$$\underset{n\to \infty }{\lim }E(\hat{\theta })=\theta ,$$

则称 $\hat{\theta }$ 是 $\theta$ 的渐近无偏估计。

并不是所有的参数都存在无偏估计，当参数存在无偏估计时称该参数是可估的。

4. 有效性 设 ${\hat{\theta }}_1,{\hat{\theta }}_2$ 是 $\theta$ 的两个无偏估计，如果对任意的 $\theta \in \Theta$ 有

$$\mathrm{Var}({\hat{\theta }}_1)\le \mathrm{Var}({\hat{\theta }}_2),$$

且至少有一个 $\theta \in \Theta$ 使得上述不等号严格成立，则称 ${\hat{\theta }}_1$ 比 ${\hat{\theta }}_2$ 有效。

习题与解答 6.1

习题 6.1-1

设 $x_1,x_2,x_3$ 是取自某总体的一个容量为 $3$ 的样本，试证下列统计量都是该总体均值 $\mu$ 的无偏估计，并在方差存在时指出哪一个估计的有效性最差。

$$\text{(1)}{\hat{\mu }}_1=\frac{1}{2}{x}_1+\frac{1}{3}{x}_2+\frac{1}{6}{x}_3;$$ $$\text{(2)}{\hat{\mu }}_2=\frac{1}{3}{x}_1+\frac{1}{3}{x}_2+\frac{1}{3}{x}_3;$$ $$\text{(3)}{\hat{\mu }}_3=\frac{1}{6}{x}_1+\frac{1}{6}{x}_2+\frac{2}{3}{x}_3.$$

解 先求三个统计量的数学期望，

$$E({\hat{\mu }}_1)=\frac{1}{2}E(x_1)+\frac{1}{3}E(x_2)+\frac{1}{6}E(x_3)=\frac{1}{2}\mu +\frac{1}{3}\mu +\frac{1}{6}\mu =\mu ,$$ $$E({\hat{\mu }}_2)=\frac{1}{3}E(x_1)+\frac{1}{3}E(x_2)+\frac{1}{3}E(x_3)=\frac{1}{3}\mu +\frac{1}{3}\mu +\frac{1}{3}\mu =\mu ,$$ $$E({\hat{\mu }}_3)=\frac{1}{6}E(x_1)+\frac{1}{6}E(x_2)+\frac{2}{3}E(x_3)=\frac{1}{6}\mu +\frac{1}{6}\mu +\frac{2}{3}\mu =\mu .$$

这说明它们都是总体均值 $\mu$ 的无偏估计，下面求它们的方差，不妨设总体的方差为 ${\sigma }^2$，则

$$\mathrm{Var}({\hat{\mu }}_1)=\frac{1}{4}\mathrm{Var}(x_1)+\frac{1}{9}\mathrm{Var}(x_2)+\frac{1}{36}\mathrm{Var}(x_3)=\frac{7}{18}{\sigma }^2,$$ $$\mathrm{Var}({\hat{\mu }}_2)=\frac{1}{9}\mathrm{Var}(x_1)+\frac{1}{9}\mathrm{Var}(x_2)+\frac{1}{9}\mathrm{Var}(x_3)=\frac{1}{3}{\sigma }^2,$$ $$\mathrm{Var}({\hat{\mu }}_3)=\frac{1}{36}\mathrm{Var}(x_1)+\frac{1}{36}\mathrm{Var}(x_2)+\frac{4}{9}\mathrm{Var}(x_3)=\frac{1}{2}{\sigma }^2.$$

不难看出

$$\mathrm{Var}({\hat{\mu }}_2)<\mathrm{Var}({\hat{\mu }}_1)<\mathrm{Var}({\hat{\mu }}_3),$$

从而 ${\hat{\mu }}_3$ 的有效性最差。

由此可猜测，当用样本的凸组合

$$\sum _{i=1}^n{a}_i{x}_i$$

估计总体均值时，样本均值 $\bar{x}$ 是最有效的。

习题 6.1-2

设 $x_1,x_2,\dots ,x_n$ 是来自 $Exp(\lambda )$ 的样本，已知 $\bar{x}$ 为 $1/\lambda$ 的无偏估计，试说明 $1/\bar{x}$ 是否为 $\lambda$ 的无偏估计。

解 因为 $x_1,x_2,\dots ,x_n$ i.i.d. $\sim Exp(\lambda )$，所以

$$y=\sum _{i=1}^n{x}_i\sim Ga(n,\lambda ),$$

相应的密度函数为

$$p(y;n,\lambda )=\frac{{\lambda }^n}{\Gamma (n)}{y}^{n-1}{e}^{-\lambda y},y>0.$$

于是

$$\begin{array}{rl}E(1/y)& ={\int }_0^{\infty }\frac{{\lambda }^n}{\Gamma (n)}{y}^{n-2}{e}^{-\lambda y}dy\\ & =\frac{\lambda }{n-1}{\int }_0^{\infty }\frac{{\lambda }^{n-1}}{\Gamma (n-1)}{y}^{n-2}{e}^{-\lambda y}dy\\ & =\frac{\lambda }{n-1}.\end{array}$$

所以，

$$E(1/\bar{x})=n\lambda \cdot \frac{1}{n-1}=\frac{n\lambda }{n-1}.$$

即 $1/\bar{x}$ 不是 $\lambda$ 的无偏估计，但它是 $\lambda$ 的渐近无偏估计，经修偏，

$$\frac{n-1}{n\bar{x}}$$

是 $\lambda$ 的无偏估计。

习题 6.1-3

设 $\hat{\theta }$ 是参数 $\theta$ 的无偏估计，且有 $\mathrm{Var}(\hat{\theta })>0$，试证 $(\hat{\theta }{)}^2$ 不是 ${\theta }^2$ 的无偏估计。

解 由方差的定义可知，

$$\mathrm{Var}(\hat{\theta })=E({\hat{\theta }}^2)-(E(\hat{\theta }){)}^2>0.$$

由于 $\hat{\theta }$ 是参数 $\theta$ 的无偏估计，即

$$E(\hat{\theta })=\theta ,$$

因而

$$E({\hat{\theta }}^2)=\mathrm{Var}(\hat{\theta })+(E(\hat{\theta }){)}^2=\mathrm{Var}(\hat{\theta })+{\theta }^2>{\theta }^2,$$

所以 $(\hat{\theta }{)}^2$ 不是 ${\theta }^2$ 的无偏估计。

习题 6.1-4

设总体 $X\sim N(\mu ,{\sigma }^2)$，$x_1,x_2,\dots ,x_n$ 是来自该总体的一个样本。试确定常数 $c$ 使

$$c\sum _{i=1}^{n-1}(x_{i+1}-x_i{)}^2$$

为 ${\sigma }^2$ 的无偏估计。

解 由于总体 $X\sim N(\mu ,{\sigma }^2)$，这给出

$$E(x_i^2)={\sigma }^2+{\mu }^2,E(x_i{x}_{i-1})=E(x_i)E(x_{i-1})={\mu }^2.$$

于是

$$\begin{array}{rl}E\left(\sum _{i=1}^{n-1}(x_{i+1}-x_i{)}^2\right)& =E(x_1^2+2x_2^2+\cdots +2x_{n-1}^2+x_n^2-2x_1{x}_2-\cdots -2x_{n-1}{x}_n)\\ & =[2(n-1)({\sigma }^2+{\mu }^2)-2(n-1){\mu }^2]\\ & =2(n-1){\sigma }^2.\end{array}$$

若要使

$$c\sum _{i=1}^{n-1}(x_{i+1}-x_i{)}^2$$

为 ${\sigma }^2$ 的无偏估计，即

$$cE\left(\sum _{i=1}^{n-1}(x_{i+1}-x_i{)}^2\right)={\sigma }^2,$$

这给出

$$c=\frac{1}{2(n-1)}.$$

习题 6.1-5

设 $x_1,x_2,\dots ,x_n$ 是来自下列总体的样本：

$$p(x;\theta )=\{\begin{array}{ll}1,& \theta -\frac{1}{2}\le x\le \theta +\frac{1}{2},-\infty <\theta <\infty ,\\ 0,& \text{其他}.\end{array}$$

证明样本均值 $\bar{x}$ 及 $\frac{1}{2}(x_{(1)}+x_{(n)})$ 都是 $\theta$ 的无偏估计，问何者更有效？

解 由总体

$$X\sim U\left(\theta -\frac{1}{2},\theta +\frac{1}{2}\right),$$

得

$$E(X)=\theta ,\mathrm{Var}(X)=\frac{1}{12}.$$

因而

$$E(\bar{x})=\theta ,$$

这首先说明样本均值

$${\hat{\theta }}_1=\bar{x}$$

是 $\theta$ 的无偏估计，且

$$\mathrm{Var}({\hat{\theta }}_1)=\frac{1}{12n}.$$

为求

$${\hat{\theta }}_2=\frac{1}{2}(x_{(1)}+x_{(n)})$$

的均值与方差，注意到

$$Y=X-\left(\theta -\frac{1}{2}\right)\sim U(0,1),$$

令

$$y_i=x_i-\left(\theta -\frac{1}{2}\right),i=1,2,\dots ,n,$$

则

$${\hat{\theta }}_2=\frac{1}{2}(x_{(1)}+x_{(n)})=\frac{1}{2}(y_{(1)}+y_{(n)})+\theta -\frac{1}{2}.$$

由于

$$y_{(i)}\sim Be(i,n-i+1),$$

故

$$E(y_{(1)})=\frac{1}{n+1},E(y_{(n)})=\frac{n}{n+1},$$

从而

$$E({\hat{\theta }}_2)=\frac{1}{2}E(y_{(1)}+y_{(n)})+\theta -\frac{1}{2}=\theta .$$

这就证明了

$$\frac{1}{2}(x_{(1)}+x_{(n)})$$

是 $\theta$ 的无偏估计。又注意到（参见第五章 5.3 节习题 33）

$$y_{(n)}-y_{(1)}\sim Be(n-1,2),$$

所以

$$\mathrm{Var}(y_{(1)})=\mathrm{Var}(y_{(n)})=\frac{n}{(n+1{)}^2(n+2)},$$ $$\mathrm{Var}(y_{(n)}-y_{(1)})=\frac{2(n-1)}{(n+1{)}^2(n+2)}.$$

从而

$$\begin{array}{rl}\mathrm{Cov}(y_{(1)},y_{(n)})& =\frac{1}{2}\left[\mathrm{Var}(y_{(n)})+\mathrm{Var}(y_{(1)})-\mathrm{Var}(y_{(n)}-y_{(1)})\right]\\ & =\frac{1}{(n+1{)}^2(n+2)}.\end{array}$$

于是

$$\begin{array}{rl}\mathrm{Var}\left(\frac{1}{2}(x_{(1)}+x_{(n)})\right)& =\frac{1}{4}\left[\mathrm{Var}(y_{(1)})+\mathrm{Var}(y_{(n)})+2\mathrm{Cov}(y_{(1)},y_{(n)})\right]\\ & =\frac{1}{4}\left[\frac{2n}{(n+1{)}^2(n+2)}+\frac{2}{(n+1{)}^2(n+2)}\right]\\ & =\frac{1}{2(n+1)(n+2)}.\end{array}$$

在 $n>2$ 时，

$$\frac{1}{12n}>\frac{1}{2(n+1)(n+2)}.$$

这说明作为 $\theta$ 的无偏估计，在 $n>2$ 时，

$$\frac{1}{2}(x_{(1)}+x_{(n)})$$

比样本均值 $\bar{x}$ 有效。

事实上，这里 $(x_{(1)},x_{(n)})$ 是充分统计量，这与充分性原则是一致的。

习题 6.1-6

设 $x_1,x_2,x_3$ 服从均匀分布 $U(0,\theta )$，试证

$$\frac{4}{3}{x}_{(3)}$$

及

$$4x_{(1)}$$

都是 $\theta$ 的无偏估计，哪个更有效？

解 由 $X\sim U(0,\theta )$ 可知 $x_{(1)},x_{(3)}$ 的密度函数分别为

$$f_1(x)=3{\left(\frac{\theta -x}{\theta }\right)}^2\cdot \frac{1}{\theta }=\frac{3}{{\theta }^3}(\theta -x{)}^2,0<x<\theta ,$$ $$f_3(x)=3{\left(\frac{x}{\theta }\right)}^2\cdot \frac{1}{\theta }=\frac{3}{{\theta }^3}{x}^2,0<x<\theta .$$

从而

$$E(x_{(1)})=\frac{3}{{\theta }^3}{\int }_0^{\theta }x(\theta -x{)}^{2}dx=\frac{\theta }{4},E(x_{(3)})=\frac{3}{{\theta }^3}{\int }_0^{\theta }{x}^{3}dx=\frac{3}{4}\theta ,$$

故，由

$$E(4x_{(1)})=\theta ,E\left(\frac{4}{3}{x}_{(3)}\right)=\theta$$

知两者均为 $\theta$ 的无偏估计。

又可算得

$$E(x_{(1)}^2)=\frac{1}{10}{\theta }^2,E(x_{(3)}^2)=\frac{3}{5}{\theta }^2,$$

从而

$$\mathrm{Var}(4x_{(1)})=\frac{3}{5}{\theta }^2,\mathrm{Var}\left(\frac{4}{3}{x}_{(3)}\right)=\frac{{\theta }^2}{15}.$$

故

$$\mathrm{Var}\left(\frac{4}{3}{x}_{(3)}\right)<\mathrm{Var}(4x_{(1)}),$$

即

$$\frac{4}{3}{x}_{(3)}$$

更有效。

事实上，这里 $x_{(3)}$ 是充分统计量，这个结果与充分性原则是一致的。

习题 6.1-7

设从均值为 $\mu$、方差为 ${\sigma }^2>0$ 的总体中分别抽取容量为 $n_1$ 和 $n_2$ 的两个独立样本，${\bar{x}}_1$ 和 ${\bar{x}}_2$ 分别是这两个样本的均值。试证，对于任意常数 $a,b$（$a+b=1$），

$$Y=a{\bar{x}}_1+b{\bar{x}}_2$$

都是 $\mu$ 的无偏估计，并确定常数 $a,b$ 使 $\mathrm{Var}(Y)$ 达到最小。

解 由于 ${\bar{x}}_1$ 和 ${\bar{x}}_2$ 是容量分别为 $n_1$ 和 $n_2$ 的两独立样本的均值，故

$$E({\bar{x}}_1)=\mu ,E({\bar{x}}_2)=\mu ,\mathrm{Var}({\bar{x}}_1)=\frac{{\sigma }^2}{n_1},\mathrm{Var}({\bar{x}}_2)=\frac{{\sigma }^2}{n_2}.$$

因而

$$E(Y)=E(a{\bar{x}}_1+b{\bar{x}}_2)=aE({\bar{x}}_1)+bE({\bar{x}}_2)=a\mu +b\mu =(a+b)\mu =\mu ,$$

这证明了

$$Y=a{\bar{x}}_1+b{\bar{x}}_2$$

是 $\mu$ 的无偏估计。

又由 $a+b=1$ 知，

$$Y=a{\bar{x}}_1+(1-a){\bar{x}}_2,$$

从而

$$\mathrm{Var}(Y)=\frac{a^2{\sigma }^2}{n_1}+\frac{(1-a{)}^2{\sigma }^2}{n_2}={\sigma }^2\left[\left(\frac{1}{n_1}+\frac{1}{n_2}\right)a^2-\frac{2}{n_2}a+\frac{1}{n_2}\right].$$

由求导知，当

$$a=\frac{1/n_2}{1/n_1+1/n_2}=\frac{n_1}{n_1+n_2}$$

时，$\mathrm{Var}(Y)$ 达到最小，此时

$$b=\frac{n_2}{n_1+n_2}.$$

这个结果表明，来自同一总体的两个容量为 $n_1$ 和 $n_2$ 的样本的合样本（样本量为 $n_1+n_2$）的均值

$$\bar{x}=\frac{n_1{\bar{x}}_1+n_2{\bar{x}}_2}{n_1+n_2}$$

是线性无偏估计类

$$U=\{a{\bar{x}}_1+(1-a){\bar{x}}_2\}$$

中方差最小的。

习题 6.1-8

设总体 $X$ 的均值为 $\mu$，方差为 ${\sigma }^2$，$x_1,x_2,\dots ,x_n$ 是来自该总体的一个样本，$T(x_1,x_2,\dots ,x_n)$ 为 $\mu$ 的任一线性无偏估计量。证明：$\bar{x}$ 与 $T$ 的相关系数为

$$\sqrt{\mathrm{Var}(\bar{x})/\mathrm{Var}(T)}.$$

解 由于 $T(x_1,x_2,\dots ,x_n)$ 为 $\mu$ 的线性无偏估计，故

$$T(x_1,x_2,\dots ,x_n)=l_1{x}_1+l_2{x}_2+\cdots +l_n{x}_n,$$

其中

$$\sum _{i=1}^n{l}_i=1.$$

于是

$$\mathrm{Cov}(T,\bar{x})=\sum _{i=1}^n\frac{l_i}{n}\mathrm{Var}(x_i)=\frac{{\sigma }^2}{n}.$$

而

$$\mathrm{Var}(\bar{x})=\frac{{\sigma }^2}{n},$$

故有

$$\mathrm{Cov}(T,\bar{x})=\mathrm{Var}(\bar{x}).$$

从而

$$\mathrm{Corr}(T,\bar{x})=\frac{\mathrm{Cov}(T,\bar{x})}{\sqrt{\mathrm{Var}(\bar{x})\mathrm{Var}(T)}}=\frac{\mathrm{Var}(\bar{x})}{\sqrt{\mathrm{Var}(\bar{x})\mathrm{Var}(T)}}=\sqrt{\mathrm{Var}(\bar{x})/\mathrm{Var}(T)}.$$

习题 6.1-9

设有 $k$ 台仪器，已知用第 $i$ 台仪器测量的标准差为 ${\sigma }_i$（$i=1,2,\dots ,k$）。用这些仪器独立地对某一物理量 $\theta$ 各观察一次，分别得到 $x_1,x_2,\dots ,x_k$，设仪器都没有系统偏差。问 $a_1,a_2,\dots ,a_k$ 应取何值，方能使

$$\hat{\theta }=\sum _{i=1}^k{a}_i{x}_i$$

成为 $\theta$ 的无偏估计，且方差达到最小？

解 若要使

$$\hat{\theta }=\sum _{i=1}^k{a}_i{x}_i$$

为 $\theta$ 的无偏估计，即

$$E(\hat{\theta })=E\left(\sum _{i=1}^k{a}_i{x}_i\right)=a_1\theta +a_2\theta +\cdots +a_k\theta =\theta \sum _{i=1}^k{a}_i=\theta ,$$

则必须有

$$\sum _{i=1}^k{a}_i=1.$$

此时，

$$\mathrm{Var}(\hat{\theta })=\mathrm{Var}\left(\sum _{i=1}^k{a}_i{x}_i\right)=a_1^2{\sigma }_1^2+a_2^2{\sigma }_2^2+\cdots +a_k^2{\sigma }_k^2.$$

因此，问题转化为在

$$\sum _{i=1}^k{a}_i=1$$

的条件下，求

$$\sum _{i=1}^k{a}_i^2{\sigma }_i^2$$

的极小值。

令

$$f(a_1,a_2,\dots ,a_k)=\sum _{i=1}^k{a}_i^2{\sigma }_i^2-\lambda \left(\sum _{i=1}^k{a}_i-1\right),$$

由

$$\frac{\partial f}{\partial a_i}=0,i=1,2,\dots ,k,\text{和}\frac{\partial f}{\partial \lambda }=0,$$

得到

$$\{\begin{array}{rl}2a_i{\sigma }_i^2-\lambda & =0,\\ \sum _{i=1}^k{a}_i& =1.\end{array}$$

从第一式中可以得到

$$a_i=\frac{\lambda }{2{\sigma }_i^2},$$

代入第二式中，解出

$$\lambda ={\left(\sum _{i=1}^k\frac{1}{2{\sigma }_i^2}\right)}^{-1},$$

从而

$$a_i=\frac{1/{\sigma }_i^2}{{\sum }_{j=1}^{k}1/{\sigma }_j^2},i=1,2,\dots ,k.$$

各 $1/{\sigma }_j^2$ 可视作仪器精度，这表明各观测值以精度为权重是最好的；若精度都一样，则等权重最优。

习题 6.1-10

设 $x_1,x_2,\dots ,x_n$ 是来自 $N(\theta ,1)$ 的样本，证明 $g(\theta )=|\theta |$ 没有无偏估计（提示：利用 $g(\theta )$ 在 $\theta =0$ 处不可导）。

解 （反证法）假设 $T(x_1,x_2,\dots ,x_n)$ 为 $g(\theta )$ 的无偏估计，则

$${\left(\frac{1}{\sqrt{2\pi }}\right)}^n{\int }_{-\infty }^{\infty }T(x_1,x_2,\dots ,x_n)\exp \left\{-\sum _{i=1}^n\frac{(x_i-\theta {)}^2}{2}\right\}d{x}_{1}d{x}_2\cdots d{x}_n=|\theta |.$$

由上式可知，等式的左边关于 $\theta$ 处处可导，而等式的右边在 $\theta =0$ 处不存在导数。因此，假设不成立，即 $g(\theta )=|\theta |$ 没有无偏估计。

习题 6.1-11

设总体 $X$ 服从正态分布 $N(\mu ,{\sigma }^2)$，$x_1,x_2,\dots ,x_n$ 为来自总体 $X$ 的样本，为了得到标准差 $\sigma$ 的估计量，考虑统计量

$${\gamma }_1=\frac{1}{n}\sum _{i=1}^n|x_i-\bar{x}|,\bar{x}=\frac{1}{n}\sum _{i=1}^n{x}_i,n\ge 2,$$ $${\gamma }_2=\frac{1}{n(n-1)}\sum _{i=1}^n\sum _{j=1}^n|x_i-x_j|,n\ge 2,$$

求常数 $C_1$ 与 $C_2$，使得 $C_1{\gamma }_1$ 与 $C_2{\gamma }_2$ 都是 $\sigma$ 的无偏估计。

解 由期望的公式及对称性，我们只需要求出

$$E(|x_1-\bar{x}|)$$

和

$$E(|x_1-x_2|)$$

即

注意到

$$x_1-\bar{x}\sim N\left(0,\frac{n-1}{n}{\sigma }^2\right),x_1-x_2\sim N(0,2{\sigma }^2),$$

我们只需要求出如下期望即可完成本题：设 $y\sim N(0,{\sigma }^2)$，则

$$E(|y|)=2{\int }_0^{\infty }\frac{1}{\sqrt{2\pi }\sigma }y{e}^{-y^2/(2{\sigma }^2)}dy={\int }_0^{\infty }\frac{1}{\sqrt{2\pi }\sigma }{e}^{-z/(2{\sigma }^2)}dz={\int }_0^{\infty }\frac{\sqrt{2}\sigma }{\sqrt{\pi }}{e}^{-t}dt=\frac{\sqrt{2}\sigma }{\sqrt{\pi }}.$$

于是有

$$E(|x_1-\bar{x}|)=\sqrt{\frac{n-1}{n}}\frac{\sqrt{2}\sigma }{\sqrt{\pi }},E(|x_1-x_2|)=\frac{2\sigma }{\sqrt{\pi }},$$

从而给出

$$C_1=\sqrt{\frac{n\pi }{2(n-1)}},C_2=\frac{\sqrt{\pi }}{2}.$$

补充习题及解答

补充习题 12

设分别自总体 $N({\mu }_1,{\sigma }^2)$ 和 $N({\mu }_2,{\sigma }^2)$ 中抽取容量为 $n_1$ 和 $n_2$ 的两独立样本，其样本方差分别为 $s_1^2,s_2^2$。试证，对于任意常数 $a,b(a+b=1)$，$Z=a{s}_1^2+b{s}_2^2$ 都是 ${\sigma }^2$ 的无偏估计，并确定常数 $a,b$ 使 $\mathrm{Var}(Z)$ 达到最小。

解 由已知条件有

$$\frac{(n_1-1)s_1^2}{{\sigma }^2}\sim {\chi }^2(n_1-1),\frac{(n_2-1)s_2^2}{{\sigma }^2}\sim {\chi }^2(n_2-1),$$

且 $s_1^2,s_2^2$ 独立，于是

$$E(s_1^2)=E(s_2^2)={\sigma }^2,$$

故

$$E(Z)=E(a{s}_1^2+b{s}_2^2)=aE(s_1^2)+bE(s_2^2)=a{\sigma }^2+b{\sigma }^2=(a+b){\sigma }^2={\sigma }^2,$$

这证明了 $Z=a{s}_1^2+b{s}_2^2$ 是 ${\sigma }^2$ 的无偏估计。

又

$$\mathrm{Var}(s_1^2)=\frac{2{\sigma }^4}{n_1-1},\mathrm{Var}(s_2^2)=\frac{2{\sigma }^4}{n_2-1},$$

从而

$$\begin{array}{rl}\mathrm{Var}(Z)& =a^2\mathrm{Var}(s_1^2)+(1-a{)}^2\mathrm{Var}(s_2^2)\\ & =2\left[\frac{n_1+n_2-2}{(n_1-1)(n_2-1)}{a}^2-\frac{2}{n_2-1}a+\frac{1}{n_2-1}\right]{\sigma }^4.\end{array}$$

因而当

$$a=\frac{n_1-1}{n_1+n_2-2}$$

时，$\mathrm{Var}(Z)$ 达到最小，此时

$$b=\frac{n_2-1}{n_1+n_2-2},$$

该无偏估计为

$${\hat{\sigma }}^2=\frac{\sum _{i=1}^{n_1}(x_i-\bar{x}{)}^2+\sum _{i=1}^{n_2}(y_i-\bar{y}{)}^2}{n_1+n_2-2}.$$

这个结果表明，对来自方差相等（不论均值是否相等）的两个正态总体的容量为 $n_1$ 和 $n_2$ 的样本，上述 ${\hat{\sigma }}^2$ 是 ${\sigma }^2$ 的线性无偏估计类

$$U=\{a{s}_1^2+(1-a)s_2^2\}$$

中方差最小的。

补充习题 13

设 $x_1,x_2,\cdots ,x_n$ 是取自均匀分布总体 $U({\theta }_1,{\theta }_2)$ 的一个样本，若分别取

$${\hat{\theta }}_1=\min \{x_1,x_2,\cdots ,x_n\},{\hat{\theta }}_2=\max \{x_1,x_2,\cdots ,x_n\}$$

作为 ${\theta }_1,{\theta }_2$ 的估计量，问 ${\hat{\theta }}_1,{\hat{\theta }}_2$ 是否为 ${\theta }_1,{\theta }_2$ 的无偏估计？如果不是，如何修正才能获得 ${\theta }_1,{\theta }_2$ 的无偏估计？

解 令

$$Y=\frac{X-{\theta }_1}{{\theta }_2-{\theta }_1},$$

则 $Y\sim U(0,1)$，记 $y_{(1)},y_{(2)},\cdots ,y_{(n)}$ 为样本相应的次序统计量，于是有

$$E(y_{(1)})=\frac{1}{n+1},E(y_{(n)})=\frac{n}{n+1},$$

从而

$$E({\hat{\theta }}_1)={\theta }_1+({\theta }_2-{\theta }_1)\frac{1}{n+1}=\frac{{\theta }_2+n{\theta }_1}{n+1},$$ $$E({\hat{\theta }}_2)={\theta }_1+({\theta }_2-{\theta }_1)\frac{n}{n+1}=\frac{n{\theta }_2+{\theta }_1}{n+1}.$$

可见 ${\hat{\theta }}_1,{\hat{\theta }}_2$ 不是 ${\theta }_1,{\theta }_2$ 的无偏估计。由

$$\{\begin{array}{rl}n{\theta }_1+{\theta }_2& =(n+1)E\left(x_{(1)}\right),\\ {\theta }_1+n{\theta }_2& =(n+1)E\left(x_{(n)}\right),\end{array}$$

解之得

$$\{\begin{array}{rl}{\theta }_1& =\frac{nE(x_{(1)})-E(x_{(n)})}{n-1},\\ {\theta }_2& =\frac{nE(x_{(n)})-E(x_{(1)})}{n-1},\end{array}$$

因而

$${\hat{\theta }}_1=\frac{n{x}_{(1)}-x_{(n)}}{n-1},{\hat{\theta }}_2=\frac{n{x}_{(n)}-x_{(1)}}{n-1}$$

是 ${\theta }_1,{\theta }_2$ 的无偏估计。

补充习题 14

设 $x_1,x_2,\cdots ,x_n$ 是来自二点分布 $b(1,p)$ 的一个样本，

1. 寻求 $p^2$ 的无偏估计；
2. 寻求 $p(1-p)$ 的无偏估计；
3. 证明 $\frac{1}{p}$ 没有无偏估计。

解 (1) ${\bar{x}}^2$ 是 $p^2$ 的一个直观估计，但不是 $p^2$ 的无偏估计，这是因为

$$E({\bar{x}}^2)=\mathrm{Var}(\bar{x})+[E(\bar{x}){]}^2=\frac{p(1-p)}{n}+p^2=\frac{p}{n}+\frac{n-1}{n}{p}^2\ne p^2,$$

由此可见

$$\widehat{p^2}=\frac{n}{n-1}\left({\bar{x}}^2-\frac{\bar{x}}{n}\right)$$

是 $p^2$ 的无偏估计。

(2) $\bar{x}(1-\bar{x})=\bar{x}-{\bar{x}}^2$ 是 $p(1-p)$ 的直观估计，但不是 $p(1-p)$ 的无偏估计，这是因为

$$E(\bar{x}-{\bar{x}}^2)=p-\left(\frac{p(1-p)}{n}+p^2\right)=\frac{n-1}{n}p(1-p)\ne p(1-p),$$

由此可见

$$\frac{n}{n-1}\bar{x}(1-\bar{x})$$

是 $p(1-p)$ 的一个无偏估计。

(3) 反证法。倘若 $g(x_1,x_2,\cdots ,x_n)$ 是 $\frac{1}{p}$ 的无偏估计，则有

$$\sum _{x_1,x_2,\cdots ,x_n}g(x_1,x_2,\cdots ,x_n)p^{{\sum }_{i=1}^n{x}_i}(1-p{)}^{n-{\sum }_{i=1}^n{x}_i}=\frac{1}{p},$$

或者

$$\sum _{x_1,x_2,\cdots ,x_n}g(x_1,x_2,\cdots ,x_n)p^{{\sum }_{i=1}^n{x}_i+1}(1-p{)}^{n-{\sum }_{i=1}^n{x}_i}-1=0.$$

左端是关于 $p$ 的 $n+1$ 次方程，但它对每个 $p\in (0,1)$ 都成立，这是不可能的，故上述假设不成立。因此 $\frac{1}{p}$ 没有无偏估计。

§6.2 矩估计及相合性

1. 矩法估计 利用“替换原理”获得估计。总体矩可以用相应的样本矩替换；总体矩的函数可以用样本矩的同一函数替换。当总体分布形式未知时，可用样本均值估计 $E(X)$，用样本方差 $s^2$ 估计 $\mathrm{Var}(X)$，用频率估计 $P(A)$，用样本分位数估计总体分位数。当总体分布的概率函数形式已知且矩存在时，可列出“总体矩等于样本矩”的方程组并解出未知参数。一般宜优先使用低阶矩，并注意参数的可辨识性。
2. 相合性 对估计量 ${\hat{\theta }}_n={\hat{\theta }}_n(x_1,x_2,\cdots ,x_n)$，若对于任意 $\epsilon >0$ 及任意 $\theta \in \Theta$，都有

$$\underset{n\to \infty }{\lim }P\{|{\hat{\theta }}_n-\theta |\ge \epsilon \}=0,$$

则称 ${\hat{\theta }}_n$ 是 $\theta$ 的相合估计。相合性的实质是依概率收敛，矩估计一般都是相合的。

1. 判断相合性的一些定理
2. 若 $\underset{n\to \infty }{\lim }E({\hat{\theta }}_n)=\theta$ 且 $\underset{n\to \infty }{\lim }\mathrm{Var}({\hat{\theta }}_n)=0$，则 ${\hat{\theta }}_n$ 是 $\theta$ 的相合估计；
3. 若 ${\hat{\theta }}_{n_1},{\hat{\theta }}_{n_2},\cdots ,{\hat{\theta }}_{n_k}$ 分别是 ${\theta }_1,{\theta }_2,\cdots ,{\theta }_k$ 的相合估计，而 $\eta =g({\theta }_1,{\theta }_2,\cdots ,{\theta }_k)$ 是连续函数，则

$${\hat{\eta }}_n=g({\hat{\theta }}_{n_1},{\hat{\theta }}_{n_2},\cdots ,{\hat{\theta }}_{n_k})$$

是 $\eta$ 的相合估计；

1. 大数定律。

习题与解答 6.2

习题 6.2-1

现有一批电子元件，它们的寿命（单位：$\mathrm{h}$）如下：

$$1050,1100,1130,1040,1250,1300,1200,1080.$$

试对这批元件的平均寿命以及寿命分布的标准差给出矩估计。

解 样本均值

$$\bar{x}=\frac{1050+1100+1130+\cdots +1080}{8}=1143.75,$$

样本标准差

$$\begin{array}{rl}s& =\sqrt{\frac{1}{7}\sum _{i=1}^8(x_i-\bar{x}{)}^2}\\ & =\sqrt{\frac{1}{7}\left[(1050-1143.75{)}^2+\cdots +(1080-1143.75{)}^2\right]}\\ & =\mathrm{96.0562.}\end{array}$$

因此，元件的平均寿命和寿命分布的标准差的矩估计分别为 $1143.75$ 和 $96.0562$。

习题 6.2-2

设总体 $X\sim U(0,\theta )$，现从该总体中抽取容量为 $10$ 的样本，样本值为

$$0.5,1.3,0.6,1.7,2.2,1.2,0.8,1.5,2.0,\mathrm{1.6.}$$

试对参数 $\theta$ 给出矩估计。

解 由于

$$E(X)=\frac{\theta }{2},$$

即 $\theta =2E(X)$，而样本均值

$$\bar{x}=\frac{0.5+1.3+\cdots +1.6}{10}=1.34,$$

故 $\theta$ 的矩估计为

$$\hat{\theta }=2\bar{x}=\mathrm{2.68.}$$

习题 6.2-3

设总体分布列如下，$x_1,x_2,\cdots ,x_n$ 是样本，试求未知参数的矩估计： 1.

$$P(X=k)=\frac{1}{N},k=0,1,2,\cdots ,N-1,$$

其中 $N$（正整数）是未知参数； 1.

$$P(X=k)=(k-1){\theta }^2(1-\theta {)}^{k-2},k=2,3,\cdots ,0<\theta <1.$$

解 (1) 总体均值

$$E(X)=\frac{0+1+\cdots +N-1}{N}=\frac{N-1}{2},$$

解之可得

$$N=2E(X)+1.$$

故 $N$ 的矩估计为

$$\hat{N}=2\bar{x}+1,$$

其中 $\bar{x}$ 为样本均值。若 $2\bar{x}$ 不是整数，可取大于 $2\bar{x}$ 的最小整数代替 $2\bar{x}$。

(2) 总体均值

$$E(X)=\sum _{k=2}^{\infty }k(k-1){\theta }^2(1-\theta {)}^{k-2}={\theta }^2\sum _{k=2}^{\infty }k(k-1)(1-\theta {)}^{k-2}.$$

由于

$$\sum _{k=2}^{\infty }k(k-1)(1-\theta {)}^{k-2}=\frac{2}{{\theta }^3},$$

故有

$$E(X)={\theta }^2\cdot \frac{2}{{\theta }^3}=\frac{2}{\theta },$$

即

$$\theta =\frac{2}{E(X)}.$$

从而参数 $\theta$ 的矩估计为

$$\hat{\theta }=\frac{2}{\bar{x}}.$$

习题 6.2-4

设总体密度函数如下，$x_1,x_2,\cdots ,x_n$ 是样本，试求未知参数的矩估计： 1.

$$p(x;\theta )=\frac{2}{{\theta }^2}(\theta -x),0<x<\theta ,\theta >0;$$

1. $$p(x;\theta )=(\theta +1)x^{\theta },0<x<1,\theta >0;$$
2. $$p(x;\theta )=\sqrt{\theta }{x}^{\sqrt{\theta }-1},0<x<1,\theta >0;$$
3. $$p(x;\theta ,\mu )=\frac{1}{\theta }{e}^{-(x-\mu )/\theta },x>\mu ,\theta >0.$$

解 (1) 总体均值

$$E(X)={\int }_0^{\theta }\frac{2}{{\theta }^2}x(\theta -x)dx=\frac{2}{{\theta }^2}{\int }_0^{\theta }(\theta x-x^2)dx=\frac{1}{3}\theta ,$$

即

$$\theta =3E(X),$$

故参数 $\theta$ 的矩估计为

$$\hat{\theta }=3\bar{x}.$$

(2) 总体均值

$$E(X)={\int }_0^{1}x(\theta +1)x^{\theta }dx=\frac{\theta +1}{\theta +2},$$

所以

$$\theta =\frac{1-2E(X)}{E(X)-1},$$

从而参数 $\theta$ 的矩估计为

$$\hat{\theta }=\frac{1-2\bar{x}}{\bar{x}-1}.$$

(3) 由

$$E(X)={\int }_0^{1}x\sqrt{\theta }{x}^{\sqrt{\theta }-1}dx=\frac{\sqrt{\theta }}{\sqrt{\theta }+1},$$

可得

$$\theta ={\left(\frac{E(X)}{1-E(X)}\right)}^2,$$

由此，参数 $\theta$ 的矩估计为

$$\hat{\theta }={\left(\frac{\bar{x}}{1-\bar{x}}\right)}^2.$$

(4) 先计算总体均值与方差：

$$\begin{array}{rl}E(X)& ={\int }_{\mu }^{\infty }x\frac{1}{\theta }{e}^{-(x-\mu )/\theta }dx\\ & ={\int }_0^{\infty }t\frac{1}{\theta }{e}^{-t/\theta }dt+{\int }_0^{\infty }\mu \frac{1}{\theta }{e}^{-t/\theta }dt\\ & =\theta +\mu ,\end{array}$$ $$\begin{array}{rl}E(X^2)& ={\int }_{\mu }^{\infty }{x}^2\frac{1}{\theta }{e}^{-(x-\mu )/\theta }dx\\ & ={\int }_0^{\infty }(t+\mu {)}^2\frac{1}{\theta }{e}^{-t/\theta }dt\\ & ={\int }_0^{\infty }{t}^2\frac{1}{\theta }{e}^{-t/\theta }dt+{\int }_0^{\infty }2\mu t\frac{1}{\theta }{e}^{-t/\theta }dt+{\int }_0^{\infty }{\mu }^2\frac{1}{\theta }{e}^{-t/\theta }dt\\ & =2{\theta }^2+2\mu \theta +{\mu }^2.\end{array}$$

于是

$$\mathrm{Var}(X)=E(X^2)-[E(X){]}^2={\theta }^2.$$

由此可以推出

$$\theta =\sqrt{\mathrm{Var}(X)},\mu =E(X)-\sqrt{\mathrm{Var}(X)},$$

从而参数 $\theta ,\mu$ 的矩估计为

$$\hat{\theta }=s,\hat{\mu }=\bar{x}-s.$$

习题 6.2-5

设总体为 $N(\mu ,1)$，现对该总体观测 $n$ 次，发现有 $k$ 次观测值为正，使用频率替换方法求 $\mu$ 的估计。

解 由题意知，观测值为正的频率

$$f=\frac{k}{n}.$$

下面计算观测值为正的概率。当总体为 $N(\mu ,1)$ 时，

$$P(X>0)=1-P(X<0)=1-P(X-\mu <-\mu )=\Phi (\mu ),$$

其中 $\Phi$ 为标准正态分布的分布函数。利用频率替换概率的方法有

$$\Phi (\hat{\mu })=\frac{k}{n},$$

这给出参数 $\mu$ 的矩估计为

$$\hat{\mu }={\Phi }^{-1}\left(\frac{k}{n}\right)=u_{k/n}.$$

譬如，若设 $\frac{k}{n}=0.281$，则由上式知 $\hat{\mu }$ 是标准正态分布的 $0.281$ 分位数，查附表 $2$ 得

$$\hat{\mu }=u_{0.281}=-\mathrm{0.58.}$$

习题 6.2-6

甲、乙两个校对员彼此独立对同一本书的样稿进行校对，校完后，甲发现 $a$ 个错字，乙发现 $b$ 个错字，其中共同发现的错字有 $c$ 个，试用矩估计给出如下两个未知参数的估计：

1. 该书样稿的总错字个数；
2. 未被发现的错字个数。

解 设该书样稿中的总错字的个数为 $\theta$，甲校对员识别出错字的概率为 $p_1$，乙校对员识别出错字的概率为 $p_2$。由于甲、乙是彼此独立地进行校对，则同一错字能被甲、乙同时识别的概率为 $p_1{p}_2$，根据频率替换思想有

$${\hat{p}}_1=\frac{a}{\theta },{\hat{p}}_2=\frac{b}{\theta },\widehat{p_1{p}_2}=\frac{c}{\theta }.$$

由独立性可得矩法方程

$$\frac{a}{\theta }\cdot \frac{b}{\theta }=\frac{c}{\theta },$$

解之得

$$\hat{\theta }=\frac{ab}{c}.$$

(2) 未被发现的错字个数的估计等于总错字个数的估计减去甲、乙发现的错字个数，即

$$\frac{ab}{c}-a-b+c=\frac{(a-c)(b-c)}{c}.$$

譬如，若设 $a=120,b=124,c=80$，则该书样稿中总错字个数的矩法估计为

$$\hat{\theta }=\frac{120\times 124}{80}=186,$$

而未被发现的错字个数的矩法估计为

$$186-120-124+80=22.$$

习题 6.2-7

设总体 $X$ 服从二项分布 $b(m,p)$，其中 $m,p$ 为未知参数，$x_1,x_2,\cdots ,x_n$ 为 $X$ 的一个样本，求 $m$ 与 $p$ 的矩估计。

解 因为有两个未知参数，所以要用 $1,2$ 阶矩。由二项分布可知

$$E(X)=mp,\mathrm{Var}(X)=mp(1-p),$$

列矩方程组

$$\{\begin{array}{rl}mp& =\bar{x},\\ mp(1-p)& =s^2,\end{array}$$

两式相除，可轻松解出

$$\hat{p}=1-\frac{s^2}{\bar{x}}.$$

代入第一式，得

$$\hat{m}=\frac{\bar{x}}{\hat{p}}.$$

因为 $m$ 为正整数，故

$$\hat{m}=\left[\frac{{\bar{x}}^2}{\bar{x}-s^2}\right],$$

其中 $[]$ 表示取整数。

补充习题及解答

补充习题 8

设 $x_1,x_2,\cdots ,x_n$ 是来自对数级数分布

$$P(X=k)=-\frac{1}{\ln (1-p)}\cdot \frac{p^k}{k},0<p<1,k=1,2,\cdots$$

的一个样本，求参数 $p$ 的矩估计。

解 由于

$$E(X)=\sum _{k=1}^{\infty }kP(X=k)=-\frac{1}{\ln (1-p)}\sum _{k=1}^{\infty }{p}^k=-\frac{p}{(1-p)\ln (1-p)},$$ $$E(X^2)=\sum _{k=1}^{\infty }{k}^{2}P(X=k)=-\frac{1}{\ln (1-p)}\sum _{k=1}^{\infty }k{p}^k=-\frac{p}{(1-p{)}^2\ln (1-p)},$$

因此有

$$1-p=\frac{E(X)}{E(X^2)},$$

从而得到 $p$ 的一个矩估计

$$\hat{p}=1-\frac{\sum x_i}{\sum x_i^2}.$$

补充习题 9

设 $x_1,x_2,\cdots ,x_n$ 独立同分布，$E(x_1)=\mu$，$\mathrm{Var}(x_1)<\infty$。证明：

$$\hat{\mu }=\frac{2}{n(n+1)}\sum _{i=1}^{n}i{x}_i$$

是 $\mu$ 的相合估计。

解 由于

$$E(\hat{\mu })=\frac{2\mu }{n(n+1)}\sum _{i=1}^{n}i=\frac{2\mu }{n(n+1)}\cdot \frac{n(n+1)}{2}=\mu ,$$ $$\mathrm{Var}(\hat{\mu })=\frac{4\mathrm{Var}(x_1)}{n^2(n+1{)}^2}\sum _{i=1}^n{i}^2=\frac{4\mathrm{Var}(x_1)}{n^2(n+1{)}^2}\cdot \frac{n(n+1)(2n+1)}{6}\to 0(n\to \infty ),$$

这就证明了

$$\hat{\mu }=\frac{2}{n(n+1)}\sum _{i=1}^{n}i{x}_i$$

是 $\mu$ 的相合估计。

§6.3 最大似然估计与 EM 算法

1. 最大似然估计 利用“最大似然原理”获得的估计，只能在总体概率函数形式已知的情况下使用。若总体的概率函数为 $p(x;\theta )$，$\theta \in \Theta$，$x_1,x_2,\cdots ,x_n$ 是来自该总体的样本，则似然函数为

$$L(\theta )=L(\theta ;x_1,x_2,\cdots ,x_n)=p(x_1;\theta )p(x_2;\theta )\cdots p(x_n;\theta ).$$

使似然函数 $L(\theta )$ 达到最大的统计量 $\hat{\theta }=\hat{\theta }(x_1,x_2,\cdots ,x_n)$ 称为 $\theta$ 的最大似然估计，简称 MLE，即

$$L(\hat{\theta })=\underset{\theta \in \Theta }{\max }L(\theta ).$$

注意：使对数似然函数 $\ln L(\theta )$ 达到最大的 $\hat{\theta }$ 也使似然函数 $L(\theta )$ 最大，寻找最大值时也常对 $l(\theta )=\ln L(\theta )$ 使用微分法。

1. 最大似然估计的不变性 若 $\hat{\theta }$ 是 $\theta$ 的最大似然估计，则对任一函数 $g(\theta )$，$g(\hat{\theta })$ 是 $g(\theta )$ 的最大似然估计。
2. EM 算法 当分布中有多余参数或数据为截尾或缺失时，其 MLE 的求取是比较困难的。Dempster 等人于 $1977$ 年提出了 EM 算法，其出发点是把求 MLE 的过程分两步走：第一步求期望（E 步），以便把多余的部分去掉；第二步求极大值（M 步）。重复使用这两步直至收敛可得 MLE 的近似解。这是一种非常有效的方法。
3. MLE 的渐近正态性 在很一般条件下，总体分布 $p(x;\theta )$ 中 $\theta$ 的 MLE ${\hat{\theta }}_n$ 具有相合性与渐近正态性，即

$${\hat{\theta }}_n\sim AN\left(\theta ,\frac{1}{nI(\theta )}\right),$$

其中

$$I(\theta )={\int }_{-\infty }^{\infty }{\left[\frac{\partial }{\partial \theta }\ln p(x;\theta )\right]}^{2}p(x;\theta )dx$$

称为费希尔信息量。

习题与解答 6.3

习题 6.3-1

试求下列未知参数的最大似然估计： 1.

$$p(x;\theta )=\sqrt{\theta }{x}^{\sqrt{\theta }-1},0<x<1,\theta >0;$$

1. $$p(x;\theta )=\theta c^{\theta }{x}^{-(\theta +1)},x>c,c>0\text{ 已知},\theta >1.$$

解 (1) 似然函数

$$L(\theta )=(\sqrt{\theta }{)}^n(x_1{x}_2\cdots x_n{)}^{\sqrt{\theta }-1},$$

其对数似然函数为

$$\ln L(\theta )=\frac{n}{2}\ln \theta +(\sqrt{\theta }-1)(\ln x_1+\ln x_2+\cdots +\ln x_n).$$

对 $\theta$ 求导并令其为 $0$，得

$$\frac{\partial \ln L(\theta )}{\partial \theta }=\frac{n}{2\theta }+\frac{{\sum }_{i=1}^n\ln x_i}{2\sqrt{\theta }}=0,$$

故最大似然估计为

$$\hat{\theta }={\left(\frac{1}{n}\sum _{i=1}^n\ln x_i\right)}^{-2}.$$

再注意到

$${\frac{{\partial }^2\ln L(\theta )}{\partial {\theta }^2}|}_{\hat{\theta }}=\left(-\frac{n}{2{\theta }^2}-\frac{{\sum }_{i=1}^n\ln x_i}{4{\theta }^{3/2}}\right){|}_{\hat{\theta }}=-\frac{3{\left({\sum }_{i=1}^n\ln x_i\right)}^4}{4n^3}<0,$$

故 $\hat{\theta }$ 为 $\theta$ 的最大似然估计。

(2) 似然函数

$$L(\theta )={\theta }^n{c}^{n\theta }(x_1{x}_2\cdots x_n{)}^{-(\theta +1)},$$

其对数似然函数为

$$\ln L(\theta )=n\ln \theta +n\theta \ln c-(\theta +1)\sum _{i=1}^n\ln x_i.$$

对 $\theta$ 求导并令其为 $0$，得

$$\frac{n}{\theta }+n\ln c-\sum _{i=1}^n\ln x_i=0,$$

故最大似然估计为

$$\hat{\theta }={\left(\frac{1}{n}\sum _{i=1}^n\ln x_i-\ln c\right)}^{-1}.$$

又由于

$$\frac{{\partial }^2\ln L(\theta )}{\partial {\theta }^2}=-\frac{n}{{\theta }^2}<0,$$

故 $\hat{\theta }$ 为 $\theta$ 的最大似然估计。

习题 6.3-2

试求下列未知参数的最大似然估计： 1.

$$p(x;\theta )=c{\theta }^c{x}^{-(c+1)},x>\theta ,\theta >0,c>0\text{ 已知};$$

1. $$p(x;\theta ,\mu )=\frac{1}{\theta }{e}^{-(x-\mu )/\theta },x>\mu ,\theta >0;$$
2. $$p(x;\theta )=\frac{1}{k\theta },\theta <x<(k+1)\theta ,\theta >0,k>0\text{ 已知}.$$

解 (1) 似然函数为

$$L(\theta )=c^n{\theta }^{nc}(x_1{x}_2\cdots x_n{)}^{-(c+1)}{I}_{\{x_{(1)}>\theta \}}.$$

要使 $L(\theta )$ 达到最大，指示函数必须为 $1$，且在此条件下 ${\theta }^{nc}$ 为 $\theta$ 的增函数，故应取满足约束条件的最大 $\theta$，即

$$\hat{\theta }=x_{(1)}.$$

(2) 似然函数为

$$L(\theta ,\mu )={\left(\frac{1}{\theta }\right)}^n\exp \left[-\frac{1}{\theta }\sum _{i=1}^n(x_i-\mu )\right],x_{(1)}>\mu .$$

其对数似然函数为

$$\ln L(\theta ,\mu )=-n\ln \theta -\frac{1}{\theta }\sum _{i=1}^n(x_i-\mu ).$$

由于 $\ln L(\theta ,\mu )$ 对 $\mu$ 为增函数，故应取满足约束条件的最大 $\mu$，即

$$\hat{\mu }=x_{(1)}.$$

再对 $\theta$ 求导并令其为 $0$，得

$$-\frac{n}{\theta }+\frac{{\sum }_{i=1}^n(x_i-\hat{\mu })}{{\theta }^2}=0,$$

所以

$$\hat{\theta }=\frac{1}{n}\sum _{i=1}^n(x_i-\hat{\mu })=\bar{x}-x_{(1)}.$$

(3) 似然函数为

$$L(\theta )={\left(\frac{1}{k\theta }\right)}^n{I}_{\{\theta <x_{(1)}\le x_{(n)}<(k+1)\theta \}}.$$

由于 ${\left(\frac{1}{k\theta }\right)}^n$ 是 $\theta$ 的减函数，故要使 $L(\theta )$ 达到最大，应在满足

$$\frac{x_{(n)}}{k+1}<\theta <x_{(1)}$$

的条件下取最小的 $\theta$，因此

$$\hat{\theta }=\frac{x_{(n)}}{k+1}.$$

习题 6.3-3

试求下列未知参数的最大似然估计： 1.

$$p(x;\theta )=\frac{1}{2\theta }{e}^{-|x|/\theta },\theta >0;$$

1. $$p(x;\theta )=1,\theta -\frac{1}{2}<x<\theta +\frac{1}{2};$$
2. $$p(x;{\theta }_1,{\theta }_2)=\frac{1}{{\theta }_2-{\theta }_1},{\theta }_1<x<{\theta }_2.$$

解 (1) 似然函数

$$L(\theta )={\left(\frac{1}{2\theta }\right)}^n{e}^{-{\sum }_{i=1}^n|x_i|/\theta },$$

其对数似然函数为

$$\ln L(\theta )=-n\ln (2\theta )-\frac{1}{\theta }\sum _{i=1}^n|x_i|.$$

对 $\theta$ 求导并令其为 $0$，得

$$-\frac{n}{\theta }+\frac{{\sum }_{i=1}^n|x_i|}{{\theta }^2}=0,$$

故

$$\hat{\theta }=\frac{1}{n}\sum _{i=1}^n|x_i|.$$

又

$${\frac{{\partial }^2\ln L(\theta )}{\partial {\theta }^2}|}_{\hat{\theta }}=-\frac{n^3}{{\left({\sum }_{i=1}^n|x_i|\right)}^2}<0,$$

故 $\hat{\theta }$ 为最大似然估计。

(2) 似然函数为

$$L(\theta )=I_{\{\theta -\frac{1}{2}<x_{(1)}\le x_{(n)}<\theta +\frac{1}{2}\}}.$$

于是只要

$$x_{(n)}-\frac{1}{2}<\theta <x_{(1)}+\frac{1}{2},$$

似然函数就取值为 $1$。故该模型的最大似然估计不唯一，上述区间内任一值均为最大似然估计。

(3) 似然函数为

$$L({\theta }_1,{\theta }_2)=\frac{1}{({\theta }_2-{\theta }_1{)}^n}{I}_{\{{\theta }_1<x_{(1)}\le x_{(n)}<{\theta }_2\}}.$$

为使 $L({\theta }_1,{\theta }_2)$ 达到最大，应在使指示函数为 $1$ 的条件下令区间长度 ${\theta }_2-{\theta }_1$ 最小，故有

$${\hat{\theta }}_1=x_{(1)},{\hat{\theta }}_2=x_{(n)}.$$

习题 6.3-4

某地质学家在某地区取了 $100$ 个岩石样品，每个样品有 $10$ 块石子。下面记录了每个样品中石灰石的块数，试求石灰石比例 $p$ 的最大似然估计：

$$\begin{array}{cccccccccccc}\text{样本中的石子数}& 0& 1& 2& 3& 4& 5& 6& 7& 8& 9& 10\\ \text{样品个数}& 0& 1& 6& 7& 23& 26& 21& 12& 3& 1& 0\end{array}$$

解 设 $X$ 表示一个样品中石灰石的块数，则

$$X\sim b(10,p),p(X=x)=\left(\genfrac{}{}{0ex}{}{10}{x}\right)p^x(1-p{)}^{10-x}.$$

若 $x_1,x_2,\cdots ,x_{100}$ 为样本，则其似然函数为（忽略常数）

$$L(p)=p^{{\sum }_{i=1}^{100}{x}_i}(1-p{)}^{10\times 100-{\sum }_{i=1}^{100}{x}_i}.$$

对数似然函数为

$$\ln L(p)=\sum _{i=1}^{100}{x}_i\ln p+\left(10\times 100-\sum _{i=1}^{100}{x}_i\right)\ln (1-p).$$

将对数似然函数关于 $p$ 求导并令其为 $0$，得到似然方程

$$\frac{\partial \ln L(p)}{\partial p}=\frac{{\sum }_{i=1}^{100}{x}_i}{p}-\frac{10\times 100-{\sum }_{i=1}^{100}{x}_i}{1-p}=0,$$

解之得

$$\hat{p}=\frac{{\sum }_{i=1}^{100}{x}_i}{1000}.$$

由于

$$\frac{{\partial }^2\ln L(p)}{\partial p^2}=-\frac{{\sum }_{i=1}^{100}{x}_i}{p^2}-\frac{1000-{\sum }_{i=1}^{100}{x}_i}{(1-p{)}^2}<0,$$

由二阶导数的性质知，$p$ 的最大似然估计为

$$\hat{p}=\frac{{\sum }_{i=1}^{100}{x}_i}{1000}=\frac{499}{1000}=\mathrm{0.499.}$$

习题 6.3-5

在遗传学研究中经常要从截尾二项分布中抽样，其总体概率函数为

$$P(X=k;p)=\frac{\left(\genfrac{}{}{0ex}{}{m}{k}\right)p^k(1-p{)}^{m-k}}{1-(1-p{)}^m},k=1,2,\cdots ,m.$$

若已知 $m=2$，$x_1,x_2,\cdots ,x_n$ 是样本，试求 $p$ 的最大似然估计。

解 当 $m=2$ 时，该截尾二项分布只能取 $1$ 与 $2$。不妨设 $x_1,x_2,\cdots ,x_n$ 的样本中有 $n_1$ 个 $x_i$ 为 $1$，有 $n-n_1$ 个 $x_i$ 为 $2$，则其似然函数为（忽略常数）

$$\begin{array}{rl}L(p)& =\frac{p^{n_1}(1-p{)}^{n_1}{p}^{2(n-n_1)}}{[1-(1-p{)}^2{]}^n}\\ & =\frac{p^{2n-n_1}(1-p{)}^{n_1}}{[1-(1-p{)}^2{]}^n}\\ & =\frac{p^{n-n_1}(1-p{)}^{n_1}}{(2-p{)}^n}.\end{array}$$

对数似然函数为

$$\ln L(p)=(n-n_1)\ln p+n_1\ln (1-p)-n\ln (2-p).$$

将对数似然函数关于 $p$ 求导并令其为 $0$，得到似然方程

$$\frac{n-n_1}{p}-\frac{n_1}{1-p}+\frac{n}{2-p}=0,$$

解之得

$$\hat{p}=\frac{2(n-n_1)}{2n-n_1}.$$

又由于

$$\sum _{i=1}^n{x}_i=n_1+2(n-n_1)=n\bar{x},$$

故

$$n_1=2n-n\bar{x},$$

代入上式即得

$$\hat{p}=\frac{2(n-n_1)}{2n-n_1}=\frac{2(\bar{x}-1)}{\bar{x}}.$$

习题 6.3-6

已知在文学家萧伯纳的《The Intelligent Woman’s Guide To Socialism and Capitalism》一书中，一个句子的单词数 $X$ 近似地服从对数正态分布，即

$$Z=\ln X\sim N(\mu ,{\sigma }^2).$$

今从该书中随机地取 $20$ 个句子，这些句子中的单词数分别为

$$52,24,15,67,15,22,63,26,16,32,$$ $$7,33,28,14,7,29,10,6,59,30.$$

求该书中一个句子单词数均值

$$E(X)=e^{\mu +{\sigma }^2/2}$$

的最大似然估计。

解 正态分布 $N(\mu ,{\sigma }^2)$ 的参数的最大似然估计分别为样本均值和方差，即

$$\hat{\mu }=\frac{1}{20}\sum _{i=1}^{20}\ln x_i=3.0890,{\hat{\sigma }}^2=\frac{1}{n}\sum _{i=1}^n(\ln x_i-3.0890{)}^2=\mathrm{0.5081.}$$

由于最大似然估计具有不变性，因而

$$E(X)=e^{\mu +{\sigma }^2/2}$$

的最大似然估计为

$$\widehat{E(X)}=e^{3.0890+0.5081/2}=\mathrm{28.3053.}$$

习题 6.3-7

总体 $X\sim U(\theta ,2\theta )$，其中 $\theta >0$ 是未知参数，$x_1,x_2,\cdots ,x_n$ 为取自该总体的样本，$\bar{x}$ 为样本均值。

1. 证明

$$\hat{\theta }=\frac{2}{3}\bar{x}$$

是参数 $\theta$ 的无偏估计和相合估计；

1. 求 $\theta$ 的最大似然估计，它是无偏估计吗？是相合估计吗？

解 (1) 总体 $X\sim U(\theta ,2\theta )$，则

$$E(X)=\frac{3\theta }{2},\mathrm{Var}(X)=\frac{{\theta }^2}{12},$$

从而

$$E(\bar{x})=\frac{3\theta }{2},\mathrm{Var}(\bar{x})=\frac{{\theta }^2}{12n}.$$

于是

$$E(\hat{\theta })=\frac{2}{3}E(\bar{x})=\theta ,$$

这说明 $\hat{\theta }=\frac{2}{3}\bar{x}$ 是参数 $\theta$ 的无偏估计。进一步，

$$\mathrm{Var}(\hat{\theta })=\frac{4}{9}\times \frac{{\theta }^2}{12n}=\frac{{\theta }^2}{27n}\to 0.$$

这就证明了 $\hat{\theta }$ 也是 $\theta$ 的相合估计。

(2) 似然函数为

$$L(\theta )={\left(\frac{1}{\theta }\right)}^n{I}_{\{\theta <x_{(1)}\le x_{(n)}<2\theta \}},$$

显然 $L(\theta )$ 是 $\theta$ 的减函数，且 $\theta$ 的取值范围为

$$\frac{x_{(n)}}{2}<\theta <x_{(1)},$$

因而 $\theta$ 的最大似然估计为

$$\hat{\theta }=\frac{x_{(n)}}{2}.$$

下求 $\hat{\theta }$ 的均值与方差。由于 $x_{(n)}$ 的密度函数为

$$f(x)=n{\left(\frac{x-\theta }{\theta }\right)}^{n-1}\cdot \frac{1}{\theta }=\frac{n}{{\theta }^n}(x-\theta {)}^{n-1},\theta <x<2\theta ,$$

故

$$E\left(x_{(n)}\right)={\int }_{\theta }^{2\theta }x\frac{n}{{\theta }^n}(x-\theta {)}^{n-1}dx=\frac{n}{{\theta }^n}{\int }_0^{\theta }(t+\theta )t^{n-1}dt=\frac{2n+1}{n+1}\theta ,$$ $$E\left(x_{(n)}^2\right)={\int }_{\theta }^{2\theta }{x}^2\frac{n}{{\theta }^n}(x-\theta {)}^{n-1}dx=\frac{4n^2+8n+2}{(n+2)(n+1)}{\theta }^2,$$

从而

$$\mathrm{Var}\left(x_{(n)}\right)=\frac{n{\theta }^2}{(n+2)(n+1{)}^2}.$$

于是

$$E(\hat{\theta })=\frac{1}{2}E\left(x_{(n)}\right)=\frac{2n+1}{2(n+1)}\theta \to \theta (n\to \infty ),$$

这说明 $\hat{\theta }$ 不是 $\theta$ 的无偏估计，而是 $\theta$ 的渐近无偏估计。又

$$\mathrm{Var}(\hat{\theta })=\frac{1}{4}\mathrm{Var}\left(x_{(n)}\right)=\frac{n{\theta }^2}{4(n+1{)}^2(n+2)}\to 0(n\to \infty ),$$

因而 $\hat{\theta }$ 是 $\theta$ 的相合估计。

习题 6.3-8

设 $x_1,x_2,\cdots ,x_n$ 是来自密度函数为

$$p(x;\theta )=e^{-(x-\theta )},x>\theta$$

的总体的样本。

1. 求 $\theta$ 的最大似然估计 ${\hat{\theta }}_1$，它是否是相合估计？是否是无偏估计？
2. 求 $\theta$ 的矩估计 ${\hat{\theta }}_2$，它是否是相合估计？是否是无偏估计？

解 (1) 似然函数为

$$L(\theta )=\prod _{i=1}^n\{e^{-(x_i-\theta )}{I}_{\{x_i>\theta \}}\}=\exp \left\{-\sum _{i=1}^n{x}_i+n\theta \right\}{I}_{\{x_{(1)}>\theta \}}.$$

显然 $L(\theta )$ 在示性函数为 $1$ 的条件下是 $\theta$ 的严增函数，因此 $\theta$ 的最大似然估计为

$${\hat{\theta }}_1=x_{(1)}.$$

又 $x_{(1)}$ 的密度函数为

$$f(x)=n{e}^{-n(x-\theta )},x>\theta ,$$

故

$$E({\hat{\theta }}_1)={\int }_{\theta }^{\infty }xn{e}^{-n(x-\theta )}dx={\int }_0^{\infty }(t+\theta )n{e}^{-nt}dt=\frac{1}{n}+\theta ,$$

因此 ${\hat{\theta }}_1$ 不是 $\theta$ 的无偏估计，但是 $\theta$ 的渐近无偏估计。由于

$$E({\hat{\theta }}_1^2)={\int }_{\theta }^{\infty }{x}^{2}n{e}^{-n(x-\theta )}dx={\int }_0^{\infty }(t^2+2\theta t+{\theta }^2)n{e}^{-nt}dt=\frac{2}{n^2}+\frac{2\theta }{n}+{\theta }^2,$$

从而

$$\mathrm{Var}({\hat{\theta }}_1)=\frac{2}{n^2}+\frac{2\theta }{n}+{\theta }^2-{\left(\frac{1}{n}+\theta \right)}^2=\frac{1}{n^2}\to 0.$$

这说明 ${\hat{\theta }}_1$ 是 $\theta$ 的相合估计。

(2) 由于

$$E(X)={\int }_{\theta }^{\infty }x{e}^{-(x-\theta )}dx=\theta +1,$$

这给出 $\theta =E(X)-1$，所以 $\theta$ 的矩估计为

$${\hat{\theta }}_2=\bar{x}-1.$$

又

$$E(X^2)={\int }_{\theta }^{\infty }{x}^2{e}^{-(x-\theta )}dx={\theta }^2+2\theta +2,$$

所以

$$\mathrm{Var}(X)=1.$$

从而有

$$E({\hat{\theta }}_2)=E(\bar{x})-1=\theta ,\mathrm{Var}({\hat{\theta }}_2)=\frac{1}{n}\mathrm{Var}(X)=\frac{1}{n}\to 0(n\to \infty ).$$

这说明 ${\hat{\theta }}_2$ 既是 $\theta$ 的无偏估计，也是相合估计。

习题 6.3-9

为了估计湖中有多少条鱼，从中捞出 $1000$ 条，标上记号后放回湖中，然后再捞出 $150$ 条鱼，发现其中有 $10$ 条鱼有记号。问湖中有多少条鱼，才能使 $150$ 条鱼中出现 $10$ 条带记号的鱼的概率最大？

解 设第二次捞出的带有记号的鱼的数目为 $X$，则 $X$ 服从超几何分布，$150$ 条鱼中出现 $10$ 条带记号鱼的概率

$$P(X=10)=\frac{\left(\genfrac{}{}{0ex}{}{1000}{10}\right)\left(\genfrac{}{}{0ex}{}{N-1000}{140}\right)}{\left(\genfrac{}{}{0ex}{}{N}{150}\right)},$$

其中 $N$ 表示湖中的鱼的条数，是未知参数。似然函数为

$$L(N;10)=\frac{\left(\genfrac{}{}{0ex}{}{1000}{10}\right)\left(\genfrac{}{}{0ex}{}{N-1000}{140}\right)}{\left(\genfrac{}{}{0ex}{}{N}{150}\right)}.$$

考察相邻两项比值

$$\begin{array}{rl}A(N,10)& =\frac{L(N;10)}{L(N-1;10)}\\ & =\frac{(N-1000)(N-150)}{N(N-1000-140)}\\ & =\frac{(N-1000)(N-150)}{N(N-1140)}.\end{array}$$

当且仅当 $N<15000$ 时，$A(N,10)>1$；当且仅当 $N>15000$ 时，$A(N,10)<1$，因此只有在 $N=15000$ 时，$L(N;10)$ 达到最大。这里的

$$\hat{N}=15000$$

即为湖中鱼数的最大似然估计。

习题 6.3-10

证明：对正态分布 $N(\mu ,{\sigma }^2)$，若只有一个观测值，则 ${\sigma }^2$ 的最大似然估计不存在。

解 在只有一个观测值场合，对数似然函数为

$$l(\mu ,{\sigma }^2;x)=-\ln (\sqrt{2\pi }\sigma )-\frac{(x-\mu {)}^2}{2{\sigma }^2}.$$

当取 $\mu =x$ 且 $\sigma \to 0$ 时，该函数趋于 $\infty$。这说明该函数没有最大值，或者说极大值无法实现，从而 ${\sigma }^2$ 的最大似然估计不存在。

补充习题及解答

补充习题 11

若总体 $X$ 服从如下柯西分布：

$$p(x)=\frac{1}{\pi [1+(x-\mu {)}^2]},-\infty <x<\infty ,$$

而 $x_1,x_2,\cdots ,x_n$ 是它的一个样本，试求 $\mu$ 的估计量。

解 由于柯西分布的数学期望不存在，因此不能用一阶矩法估计得到 $\mu$ 的估计量。但注意到 $\mu$ 是该总体分布的中位数，因此，若用替换原理，可以给出 $\mu$ 的一个矩估计为

$$\hat{\mu }=m_{0.5}.$$

若用最小二乘法（见第八章），即使

$$\sum _{i=1}^n(x_i-\mu {)}^2$$

最小，则得 $\hat{\mu }=\bar{x}$，很难说这是 $\mu$ 的一个合适的估计量，因为这时无偏性、有效性都失去意义，而且 $\bar{x}$ 与 $x_1$ 同分布（读者自行验证），说明 $\bar{x}$ 也没有起到汇集 $\mu$ 的信息的作用，因而，这个估计量的相合性也就无从谈起。

我们转而讨论 $\mu$ 的最大似然估计。其似然函数为

$$L(\mu )=\prod _{i=1}^n\frac{1}{\pi [1+(x_i-\mu {)}^2]},$$

其对数似然函数为

$$\ln L(\mu )=-n\ln \pi -\sum _{i=1}^n\ln (1+(x_i-\mu {)}^2).$$

对 $\mu$ 求导并令其为 $0$ 可得对数似然方程

$$\sum _{i=1}^n\frac{x_i-\mu }{1+(x_i-\mu {)}^2}=0.$$

这个方程只能求数值解，比如用牛顿迭代法。由于 $\mu$ 是总体分布的中位数，因此可以用样本中位数 $m_{0.5}$ 作为迭代的初值，求所得的这个数值解即为 $\mu$ 的最大似然估计。从似然角度看，该方法得到的估计要比样本中位数估计更好些。

补充习题 12

一个罐子里装有黑球和白球，有放回地抽取一个容量为 $n$ 的样本，其中有 $k$ 个白球，求罐子里黑球数和白球数之比 $R$ 的最大似然估计。

解 解法一 记 $p$ 为罐子中白球的比例，令 $x_i$ 表示第 $i$ 次有放回抽样所得的白球数，则

$$x_i\sim b(1,p),i=1,2,\cdots ,n,$$

故 $p$ 的最大似然估计为

$$\hat{p}=\bar{x}.$$

因为黑球数与白球数比值

$$R=\frac{n(1-p)}{np}=\frac{1-p}{p},$$

根据最大似然估计的不变性，有

$$\hat{R}=\frac{1-\hat{p}}{\hat{p}}=\frac{1-\bar{x}}{\bar{x}}.$$

对具体的样本值，即 $n$ 个中抽到 $k$ 个白球来讲，$R$ 的最大似然估计为

$$\hat{R}=\frac{n-k}{k}.$$

解法二 设罐子里有白球 $l$ 个，则有黑球 $Rl$ 个，从而罐中共有 $(1+R)l$ 个球。从中有放回地抽一个球为白球的概率为

$$\frac{l}{(1+R)l}=\frac{1}{1+R}.$$

从罐中有放回地抽 $n$ 个球，可视为从二点分布

$$\begin{array}{ccc}x& 0\text{（黑球）}& 1\text{（白球）}\\ p& \frac{R}{1+R}& \frac{1}{1+R}\end{array}$$

中抽取一个样本容量为 $n$ 的样本。当样本中有 $k$ 个白球时，似然函数为

$$L(R)={\left(\frac{1}{1+R}\right)}^k{\left(\frac{R}{1+R}\right)}^{n-k}=\frac{R^{n-k}}{(1+R{)}^n}.$$

其对数似然函数为

$$\ln L(R)=(n-k)\ln R-n\ln (1+R),$$

将对数似然函数对 $R$ 求导，并令其为 $0$，得似然方程

$$\frac{n-k}{R}-\frac{n}{1+R}=0,$$

解之可得

$$\hat{R}=\frac{n}{k}-1.$$

由于其对数似然函数的二阶导数为

$${\frac{{\partial }^2\ln L(R)}{\partial R^2}|}_{\hat{R}}={\left[-\frac{n-k}{R^2}+\frac{n}{(1+R{)}^2}\right]}_{\hat{R}}=-\frac{k^3}{n(n-k)}<0,$$

所以

$$\hat{R}=\frac{n}{k}-1$$

是 $R$ 的最大似然估计。

譬如，在 $n=10,k=2$ 场合，$R$ 的最大似然估计

$$\hat{R}=\frac{10}{2}-1=4,$$

即罐中黑球数与白球数之比的最大似然估计为 $4$，即白球 $1$ 个、黑球 $4$ 个，或者白球 $2$ 个、黑球 $8$ 个等。

补充习题 13

设 $x_1,x_2,\cdots ,x_m$ 和 $y_1,y_2,\cdots ,y_n$ 分别为来自总体 $N({\mu }_1,{\sigma }^2)$ 和 $N({\mu }_2,{\sigma }^2)$ 的两个独立样本，试求

$$\theta =({\mu }_1,{\mu }_2,{\sigma }^2)$$

的最大似然估计。

解 合样本的似然函数为

$$L={\left(\frac{1}{\sqrt{2\pi }\sigma }\right)}^{m+n}\exp \left\{-\frac{1}{2{\sigma }^2}\sum _{i=1}^m(x_i-{\mu }_1{)}^2-\frac{1}{2{\sigma }^2}\sum _{i=1}^n(y_i-{\mu }_2{)}^2\right\},$$

对数似然函数为

$$l=\ln L=-\frac{m+n}{2}\ln (2\pi {\sigma }^2)\left[-\frac{1}{2{\sigma }^2}\sum _{i=1}^m(x_i-{\mu }_1{)}^2-\frac{1}{2{\sigma }^2}\sum _{i=1}^n(y_i-{\mu }_2{)}^2\right].$$

将对数似然函数对 ${\mu }_1,{\mu }_2,{\sigma }^2$ 分别求导并令其为 $0$（忽略常数），得

$${\frac{\partial l}{\partial {\mu }_1}|}_{{\hat{\mu }}_1}=\sum _{i=1}^m(x_i-{\hat{\mu }}_1)=0,{\frac{\partial l}{\partial {\mu }_2}|}_{{\hat{\mu }}_2}=\sum _{i=1}^n(y_i-{\hat{\mu }}_2)=0,$$ $${\frac{\partial l}{\partial {\sigma }^2}|}_{{\hat{\mu }}_1,{\hat{\mu }}_2,{\hat{\sigma }}^2}=-\frac{m+n}{2{\hat{\sigma }}^2}+\frac{1}{2{\hat{\sigma }}^4}\left[\sum _{i=1}^m(x_i-{\hat{\mu }}_1{)}^2+\sum _{i=1}^n(y_i-{\hat{\mu }}_2{)}^2\right]=0.$$

由此得到 ${\mu }_1,{\mu }_2,{\sigma }^2$ 的最大似然估计为

$${\hat{\mu }}_1=\bar{x},{\hat{\mu }}_2=\bar{y},$$ $${\hat{\sigma }}^2=\frac{\sum _{i=1}^m(x_i-\bar{x}{)}^2+\sum _{i=1}^n(y_i-\bar{y}{)}^2}{m+n}.$$

补充习题 14

某批产品含有 $N$ 件，其中 $M$ 件为不合格品，现从中随机抽取 $n$ 件中有 $X$ 件不合格品，则 $X$ 服从超几何分布，即

$$P(X=x)=\frac{\left(\genfrac{}{}{0ex}{}{M}{x}\right)\left(\genfrac{}{}{0ex}{}{N-M}{n-x}\right)}{\left(\genfrac{}{}{0ex}{}{N}{n}\right)},x=1,2,\cdots ,\min \{M,n\}.$$

假如 $N$ 与 $n$ 已知，寻求该批产品中不合格品数 $M$ 的最大似然估计。

解 记未知参数 $M$ 的似然函数为

$$L(M;x)=P(X=x).$$

考察似然比

$$\begin{array}{rl}\frac{L(M+1,x)}{L(M,x)}& =\frac{\left(\genfrac{}{}{0ex}{}{M+1}{x}\right)\left(\genfrac{}{}{0ex}{}{N-M-1}{n-x}\right)}{\left(\genfrac{}{}{0ex}{}{M}{x}\right)\left(\genfrac{}{}{0ex}{}{N-M}{n-x}\right)}\\ & =\frac{M+1}{M+1-x}\cdot \frac{N-M-n+x}{N-M}.\end{array}$$

要使似然比

$$\frac{L(M+1,x)}{L(M,x)}\ge 1,$$

必导致

$$(M+1)(N-M-n+x)\ge (M+1-x)(N-M).$$

化简此式可得

$$M\le \frac{x}{n}(N+1)-1\stackrel{\mathrm{def}}{=}{M}_0,$$

这表明：当 $M_0$ 为整数和 $M\le M_0$ 时，似然函数 $L(M,x)$ 是 $M$ 的增函数，即

$$L(0,x)\le L(1,x)\le \cdots \le L(M_0,x)\le L(M_0+1,x).\text{\hspace{1em}(1)}$$

类似地，要使似然比

$$\frac{L(M+1,x)}{L(M,x)}\le 1,$$

必导致

$$M\ge \frac{x}{n}(N+1)-1=M_0,$$

这表明：当 $M_0$ 为整数且 $M\ge M_0$ 时，似然函数 $L(M,x)$ 是 $M$ 的减函数，即

$$L(M_0,x)\ge L(M_0+1,x)\ge \cdots \ge L(M,x).\text{\hspace{1em}(2)}$$

比较式 $(1)$ 和式 $(2)$ 可知，当 $M_0$ 为整数时，$M$ 的最大似然估计为 $\hat{M}=M_0$ 或 $M_0+1$；而当 $M_0$ 不为整数时，$M$ 的最大似然估计为

$$\hat{M}=[M_0+1]=\left[\frac{x}{n}(N+1)\right],$$

其中 $[a]$ 为不超过 $a$ 的最大整数。综合上述，$M$ 的最大似然估计为

$$\hat{M}=\{\begin{array}{ll}\frac{x}{n}(N+1)-1\text{ 或 }\frac{x}{n}(N+1),& \frac{x}{n}(N+1)\text{ 为整数},\\ \left[\frac{x}{n}(N+1)\right],& \frac{x}{n}(N+1)\text{ 不为整数}.\end{array}$$

譬如，在 $N=19,n=5,x=2$ 场合，

$$M_0=\frac{x}{n}(N+1)-1=\frac{2}{5}\times (19+1)-1=7,$$

由于 $M_0$ 为整数，故 $M$ 的最大似然估计为 $7$ 或 $8$。下面以实际计算加以佐证，几个

$$L(M,2)=P(X=2)$$

如下表所示：

$$\begin{array}{cccccc}M& 6& 7& 8& 9& 10\\ L(M,2)& 0.3689& 0.3973& 0.3973& 0.3715& 0.3251\end{array}$$

可见 $M$ 取 $7$ 或 $8$ 可使似然函数达到最大。

又如，在 $N=16,n=5,x=2$ 场合，

$$M_0=\frac{x}{n}(N+1)-1=\frac{2}{5}\times (16+1)-1=5.8$$

（不为整数），这时 $M$ 的最大似然估计

$$\hat{M}=[M_0+1]=[5.8+1]=6.$$

实际计算表明

$$\begin{array}{ccccc}M& 5& 6& 7& 8\\ L(M,2)& 0.3777& 0.4121& 0.4038& 0.359\end{array}$$

可见 $M$ 取 $6$ 可使似然函数达到最大。

§6.4 最小方差无偏估计

1. 均方误差 设 $\hat{\theta }$ 是 $\theta$ 的一个估计（无偏的或有偏的），则称

$$\mathrm{MSE}(\hat{\theta })=E(\hat{\theta }-\theta {)}^2=\mathrm{Var}(\hat{\theta })+[E(\hat{\theta })-\theta {]}^2$$

为 $\hat{\theta }$ 的均方误差。均方误差较小意味着：$\hat{\theta }$ 不仅方差较小，而且偏差 $E(\hat{\theta })-\theta$ 也小，所以均方误差是评价点估计的一般标准。

1. 使均方误差一致最小的估计量一般是不存在的，但两个估计的优劣可用均方误差评估；
2. 在无偏估计类中使均方误差最小就是使方差最小。
3. 一致最小方差无偏估计 设 $\hat{\theta }$ 是 $\theta$ 的一个无偏估计，如果对另外任意一个 $\theta$ 的无偏估计 $\tilde{\theta }$，在参数空间 $\Theta =\{\theta \}$ 上都有

$${\mathrm{Var}}_{\theta }(\hat{\theta })\le {\mathrm{Var}}_{\theta }(\tilde{\theta }),$$

则称 $\hat{\theta }$ 是 $\theta$ 的一致最小方差无偏估计，简记为 UMVUE。

1. 判断准则 设 $\hat{\theta }=\hat{\theta }(x_1,x_2,\cdots ,x_n)$ 是 $\theta$ 的一个无偏估计，$\mathrm{Var}(\hat{\theta })<\infty$。如果对任意一个满足

$$E(\phi (x_1,x_2,\cdots ,x_n))=0$$

和

$$\mathrm{Var}(\phi (x_1,x_2,\cdots ,x_n))<\infty$$

的 $\phi$，都有

$${\mathrm{Cov}}_{\theta }(\hat{\theta },\phi )=0,\forall \theta \in \Theta ,$$

则 $\hat{\theta }$ 是 $\theta$ 的 UMVUE。

1. 充分性原则
2. 任一参数 $\theta$ 的 UMVUE 不一定存在，若存在，则它一定可表示为充分统计量的函数；
3. 若 $\theta$ 的某个无偏估计 $\hat{\theta }$ 不是充分统计量 $T=T(x_1,x_2,\cdots ,x_n)$ 的函数，则通过条件期望可以获得一个新的无偏估计 $\tilde{\theta }=E(\hat{\theta }\mid T)$，且方差不超过原估计的方差；
4. 考虑 $\theta$ 的估计时，只需要在其充分统计量的函数中寻找即可，这说法对所有统计推断都是正确的，这便是充分性原则。
5. 费希尔信息量 $I(\theta )$ 设总体的概率函数 $p(x;\theta )$，$\theta \in \Theta$ 满足下列条件：
6. 参数空间 $\Theta$ 是直线上的一个开区间；
7. 支撑 $S=\{x:p(x;\theta )>0\}$ 与 $\theta$ 无关；
8. 导数 $\frac{\partial }{\partial \theta }p(x;\theta )$ 对一切 $\theta \in \Theta$ 都存在；
9. 对 $p(x;\theta )$，积分与微分运算可交换次序，即

$$\frac{\partial }{\partial \theta }{\int }_{-\infty }^{\infty }p(x;\theta )dx={\int }_{-\infty }^{\infty }\frac{\partial }{\partial \theta }p(x;\theta )dx;$$

1. 期望

$$I(\theta )=E{\left[\frac{\partial }{\partial \theta }\ln p(x;\theta )\right]}^2$$

存在。

则称该期望 $I(\theta )$ 为总体分布的费希尔信息量。若二阶导数对一切 $\theta \in \Theta$ 都存在，则 $I(\theta )$ 还可用下式计算：

$$I(\theta )=-E\left[\frac{{\partial }^2}{\partial {\theta }^2}\ln p(x;\theta )\right].$$

1. 常用分布的费希尔信息量
2. 二点分布 $b(1,p)$ 的费希尔信息量 $I(p)=[p(1-p){]}^{-1}$；
3. 泊松分布 $p(\lambda )$ 的费希尔信息量 $I(\lambda )={\lambda }^{-1}$；
4. 指数分布 $\mathrm{Exp}(\lambda )$ 的费希尔信息量 $I(\lambda )={\lambda }^2$；
5. 正态分布 $N(\mu ,1)$ 的费希尔信息量 $I(\mu )=1$；
6. 正态分布 $N(0,{\sigma }^2)$ 的费希尔信息量 $I({\sigma }^2)=\frac{1}{2{\sigma }^4}$；
7. 正态分布 $N(\mu ,{\sigma }^2)$ 的费希尔信息量（信息矩阵）

$$I(\mu ,{\sigma }^2)=\left(\begin{array}{cc}1/{\sigma }^2& 0\\ 0& 1/(2{\sigma }^4)\end{array}\right).$$

1. C-R 不等式 设 $T=T(x_1,x_2,\cdots ,x_n)$ 是未知参数 $g(\theta )$ 的一个无偏估计，若

$$g^{\prime }(\theta )=\frac{\partial g(\theta )}{\partial \theta }$$

存在，则在费希尔信息量 $I(\theta )$ 也存在的条件下有

$$\mathrm{Var}(T)\ge \frac{[g^{\prime }(\theta ){]}^2}{nI(\theta )}.$$

上式称为克拉默—拉奥（C-R）不等式，$\frac{[g^{\prime }(\theta ){]}^2}{nI(\theta )}$ 称为 $g(\theta )$ 的无偏估计的方差的 C-R 下界，简称 $g(\theta )$ 的 C-R 下界。特别，对 $\theta$ 的无偏估计 $\hat{\theta }$，有

$$\mathrm{Var}(\hat{\theta })\ge [nI(\theta ){]}^{-1}.$$

注：$g(\theta )$ 的 C-R 下界并不是对任意参数函数 $g(\theta )$ 的无偏估计的方差都可达到，但能达到 C-R 下界的 $g(\theta )$ 的估计 $T=T(x_1,x_2,\cdots ,x_n)$ 一定是 $g(\theta )$ 的 UMVUE。方差达到 C-R 下界的无偏估计称为有效估计。

习题与解答 6.4

习题 6.4-1

设总体概率函数是 $p(x;\theta )$，$x_1,x_2,\cdots ,x_n$ 是其样本，$T=T(x_1,x_2,\cdots ,x_n)$ 是 $\theta$ 的充分统计量，则对 $g(\theta )$ 的任何一个估计 $\hat{g}$，令

$$\tilde{g}=E(\hat{g}\mid T),$$

证明：

$$\mathrm{MSE}(\tilde{g})\le \mathrm{MSE}(\hat{g}).$$

这说明，在均方误差准则下，人们只需要考虑基于充分统计量的估计。

解 我们将均方误差作如下分解

$$\begin{array}{rl}\mathrm{MSE}(\hat{g})& =E(\hat{g}-g(\theta ){)}^2\\ & =E(\hat{g}-\tilde{g}+\tilde{g}-g(\theta ){)}^2\\ & =E(\hat{g}-\tilde{g}{)}^2+\mathrm{MSE}(\tilde{g})+2E[(\hat{g}-\tilde{g})(\tilde{g}-g(\theta ))].\end{array}$$

注意到 $\tilde{g}=E(\hat{g}\mid T)$，这说明

$$E[(\hat{g}-\tilde{g})\mid T]=E(\hat{g}\mid T)-E[E(\hat{g}\mid T)\mid T]=E(\hat{g}\mid T)-E(\hat{g}\mid T)=0,$$

于是

$$\begin{array}{rl}E[(\hat{g}-\tilde{g})(\tilde{g}-g(\theta ))]& =E\left\{E\right[(\hat{g}-\tilde{g})(\tilde{g}-g(\theta ))\mid T\left]\right\}\\ & =E\{(\tilde{g}-g(\theta ))E[(\hat{g}-\tilde{g})\mid T]\}=0.\end{array}$$

因而

$$\mathrm{MSE}(\hat{g})=E(\hat{g}-\tilde{g}{)}^2+\mathrm{MSE}(\tilde{g})\ge \mathrm{MSE}(\tilde{g}).$$

习题 6.4-2

设 $T_1,T_2$ 分别是 ${\theta }_1,{\theta }_2$ 的 UMVUE，证明：对任意的（非零）常数 $a,b$，$a{T}_1+b{T}_2$ 是 $a{\theta }_1+b{\theta }_2$ 的 UMVUE。

解 由于 $T_1,T_2$ 分别是 ${\theta }_1,{\theta }_2$ 的 UMVUE，故

$$E(T_i)={\theta }_i,i=1,2.$$

且对任意一个 $\varphi (x)$，满足 $E(\varphi )=0$，由判断准则知

$$\mathrm{Cov}(T_i,\varphi )=0,i=1,2.$$

于是

$$E(a{T}_1+b{T}_2)=a{\theta }_1+b{\theta }_2,$$ $$\mathrm{Cov}(a{T}_1+b{T}_2,\varphi )=a\mathrm{Cov}(T_1,\varphi )+b\mathrm{Cov}(T_2,\varphi )=0.$$

因此 $a{T}_1+b{T}_2$ 是 $a{\theta }_1+b{\theta }_2$ 的 UMVUE。

习题 6.4-3

设 $T$ 是 $g(\theta )$ 的 UMVUE，$\hat{g}$ 是 $g(\theta )$ 的无偏估计，证明：若 $\mathrm{Var}(\hat{g})<\infty$，则

$$\mathrm{Cov}(T,\hat{g})\ge 0.$$

解 因为 $T$ 是 $g(\theta )$ 的 UMVUE，$\hat{g}$ 是 $g(\theta )$ 的无偏估计，故其差

$$T-\hat{g}$$

是 $0$ 的无偏估计，即

$$E(T-\hat{g})=0,$$

且

$$\mathrm{Var}(T-\hat{g})<\infty .$$

由判断准则知

$$\mathrm{Cov}(T,T-\hat{g})=0,$$

这说明

$$\mathrm{Var}(T)-\mathrm{Cov}(T,\hat{g})=0,$$

即

$$\mathrm{Cov}(T,\hat{g})=\mathrm{Var}(T)\ge 0.$$

习题 6.4-4

设总体 $X\sim N(\mu ,{\sigma }^2)$，$x_1,x_2,\cdots ,x_n$ 为样本，证明，

$$\bar{x}=\frac{1}{n}\sum _{i=1}^n{x}_i,s^2=\frac{1}{n-1}\sum _{i=1}^n(x_i-\bar{x}{)}^2$$

分别为 $\mu ,{\sigma }^2$ 的 UMVUE。

解 大家知道：$\bar{x},s^2$ 分别是 $\mu ,{\sigma }^2$ 的无偏估计，设 $\phi (x_1,x_2,\cdots ,x_n)$ 是 $0$ 的任一无偏估计，则

$$E(\phi )={\int }_{-\infty }^{\infty }\cdots {\int }_{-\infty }^{\infty }\phi \cdot \prod _{i=1}^n\frac{1}{\sqrt{2\pi }\sigma }\exp \left\{-\frac{(x_i-\mu {)}^2}{2{\sigma }^2}\right\}d{x}_1\cdots d{x}_n=0,$$

即

$${\int }_{-\infty }^{\infty }\cdots {\int }_{-\infty }^{\infty }\phi \cdot (2\pi {\sigma }^2{)}^{-n/2}\exp \left\{-\frac{1}{2{\sigma }^2}\sum _{i=1}^n{x}_i^2+\frac{n\bar{x}}{{\sigma }^2}\mu -\frac{n{\mu }^2}{2{\sigma }^2}\right\}d{x}_1\cdots d{x}_n=0.\text{\hspace{1em}(1)}$$

将 $(1)$ 式两端对 $\mu$ 求导，并注意到 $E(\phi )=0$，有

$${\int }_{-\infty }^{\infty }\cdots {\int }_{-\infty }^{\infty }\frac{n\bar{x}}{{\sigma }^2}\phi \cdot (2\pi {\sigma }^2{)}^{-n/2}\exp \left\{-\frac{1}{2{\sigma }^2}\sum _{i=1}^n{x}_i^2+\frac{n\bar{x}}{{\sigma }^2}\mu -\frac{n{\mu }^2}{2{\sigma }^2}\right\}d{x}_1\cdots d{x}_n=0.\text{\hspace{1em}(2)}$$

这说明

$$E\left(\frac{n\bar{x}\phi }{{\sigma }^2}\right)=0,$$

即

$$E(\bar{x}\phi )=0,$$

于是

$$\mathrm{Cov}(\bar{x},\phi )=E(\bar{x}\phi )-E(\bar{x})E(\phi )=0,$$

从而 $\bar{x}$ 是 $\mu$ 的 UMVUE。

为证明 $s^2$ 是 ${\sigma }^2$ 的 UMVUE，我们将 $(2)$ 式的两端再对 $\mu$ 求导，得

$${\int }_{-\infty }^{\infty }\cdots {\int }_{-\infty }^{\infty }{\left(\frac{n\bar{x}}{{\sigma }^2}\right)}^2\phi \cdot (2\pi {\sigma }^2{)}^{-\frac{n}{2}}\exp \left\{-\frac{1}{2{\sigma }^2}\sum _{i=1}^n{x}_i^2+\frac{n\bar{x}}{{\sigma }^2}\mu -\frac{n{\mu }^2}{2{\sigma }^2}\right\}\mathrm{d}{x}_1\cdots \mathrm{d}{x}_n$$ $$-{\int }_{-\infty }^{\infty }\cdots {\int }_{-\infty }^{\infty }\frac{n\bar{x}}{{\sigma }^2}\cdot \frac{n\mu }{{\sigma }^2}\phi \cdot (2\pi {\sigma }^2{)}^{-\frac{n}{2}}\exp \left\{-\frac{1}{2{\sigma }^2}\sum _{i=1}^n{x}_i^2+\frac{n\bar{x}}{{\sigma }^2}\mu -\frac{n{\mu }^2}{2{\sigma }^2}\right\}\mathrm{d}{x}_1\cdots \mathrm{d}{x}_n=0,$$

由此可以得到 $E({\bar{x}}^2\phi )=0$。下一步，将 ① 式两端对 ${\sigma }^2$ 求导，略去几个前面已经指出积分为 $0$ 的项，有

$${\int }_{-\infty }^{\infty }\cdots {\int }_{-\infty }^{\infty }\sum _{i=1}^n{x}_i^2\phi \cdot (2\pi {\sigma }^2{)}^{-\frac{n}{2}}\exp \left\{-\frac{1}{2{\sigma }^2}\sum _{i=1}^n{x}_i^2+\frac{n\bar{x}}{{\sigma }^2}\mu -\frac{n{\mu }^2}{2{\sigma }^2}\right\}\mathrm{d}{x}_1\cdots \mathrm{d}{x}_n=0.$$

这表明 $E\left(\phi {\sum }_{i=1}^n{x}_i^2\right)=0$，由此可得到 $E(s^2\phi )=0$，因而

$$\mathrm{Cov}(s^2,\phi )=E(s^2\phi )-E(s^2)E(\phi )=0.$$

这就证明了 $s^2$ 是 ${\sigma }^2$ 的 UMVUE。

习题 6.4-5

设总体 $p(x;\theta )$ 的费希尔信息量存在，若二阶导数 $\frac{{\partial }^2}{\partial {\theta }^2}p(x;\theta )$ 对一切的 $\theta \in \Theta$ 存在，证明费希尔信息量

$$I(\theta )=-E\left(\frac{{\partial }^2}{\partial {\theta }^2}\ln p(x;\theta )\right).$$

解 记

$$S_{\theta }=\frac{\partial \ln p(x;\theta )}{\partial \theta },$$

则

$$E(S_{\theta })={\int }_{-\infty }^{\infty }\frac{1}{p(x;\theta )}\cdot \frac{\partial p(x;\theta )}{\partial \theta }\cdot p(x;\theta )\mathrm{d}x={\int }_{-\infty }^{\infty }\frac{\partial p(x;\theta )}{\partial \theta }\mathrm{d}x=\frac{\partial }{\partial \theta }{\int }_{-\infty }^{\infty }p(x;\theta )\mathrm{d}x=0,$$

所以

$$\frac{\partial E(S_{\theta })}{\partial \theta }=0.$$

另一方面，

$$\begin{array}{rl}\frac{\partial E(S_{\theta })}{\partial \theta }& =\frac{\partial }{\partial \theta }{\int }_{-\infty }^{\infty }{S}_{\theta }p(x;\theta )\mathrm{d}x={\int }_{-\infty }^{\infty }\frac{\partial }{\partial \theta }(S_{\theta }p(x;\theta ))\mathrm{d}x\\ & ={\int }_{-\infty }^{\infty }\left(\frac{\partial S_{\theta }}{\partial \theta }\cdot p(x;\theta )+S_{\theta }\cdot \frac{\partial p(x;\theta )}{\partial \theta }\right)\mathrm{d}x\\ & ={\int }_{-\infty }^{\infty }\frac{{\partial }^2\ln p(x;\theta )}{\partial {\theta }^2}\cdot p(x;\theta )\mathrm{d}x+{\int }_{-\infty }^{\infty }{\left(\frac{\partial \ln p(x;\theta )}{\partial \theta }\right)}^{2}p(x;\theta )\mathrm{d}x\\ & =E\left(\frac{{\partial }^2\ln p(x;\theta )}{\partial {\theta }^2}\right)+E(S_{\theta }^2)\\ & =E\left(\frac{{\partial }^2\ln p(x;\theta )}{\partial {\theta }^2}\right)+I(\theta ).\end{array}$$

这就证明了

$$I(\theta )=-E\left(\frac{{\partial }^2\ln p(x;\theta )}{\partial {\theta }^2}\right).$$

习题 6.4-6

设总体密度函数为

$$p(x;\theta )=\theta x^{\theta -1},0<x<1,\theta >0,$$

$x_1,x_2,\cdots ,x_n$ 是样本。

1. 求 $g(\theta )=1/\theta$ 的最大似然估计；
2. 求 $g(\theta )$ 的有效估计。

解 **（1）**似然函数为

$$L(\theta )=\prod _{i=1}^n\theta x_i^{\theta -1},$$

对数似然函数为

$$\ln L(\theta )=n\ln \theta +(\theta -1)\sum _{i=1}^n\ln x_i=-n\ln g(\theta )+\left(\frac{1}{g(\theta )}-1\right)\sum _{i=1}^n\ln x_i.$$

将对数似然函数求导并令其为 $0$，得似然方程

$$\frac{\partial \ln L(\theta )}{\partial g(\theta )}=-\frac{n}{g(\theta )}-\frac{1}{g^2(\theta )}\sum _{i=1}^n\ln x_i=0.$$

解之得

$$\hat{g}(\theta )=-\frac{1}{n}\sum _{i=1}^n\ln x_i.$$

**（2）**令 $Y=-\ln X$，则

$$P(Y<y)=P(-\ln X<y)=P(X>e^{-y})={\int }_{e^{-y}}^1\theta x^{\theta -1}\mathrm{d}x=1-e^{-\theta y},$$

因此

$$Y\sim Exp(\theta )=Ga(1,\theta ),$$

从而有

$$\hat{g}(\theta )\sim Ga(n,n\theta ).$$

于是

$$E(\hat{g})=\frac{n}{n\theta }=\frac{1}{\theta }=g(\theta ),\mathrm{Var}(\hat{g})=\frac{n}{(n\theta {)}^2}=\frac{1}{n{\theta }^2}.$$

为求有效估计，需求出 $\theta$ 的费希尔信息量。注意到

$$\ln p(x;\theta )=\ln \theta +(\theta -1)\ln x,$$ $$\frac{\partial \ln p(x;\theta )}{\partial \theta }=\frac{1}{\theta }+\ln x,\frac{{\partial }^2\ln p(x;\theta )}{\partial {\theta }^2}=-\frac{1}{{\theta }^2},$$

于是

$$I(\theta )=-E\left(\frac{{\partial }^2}{\partial {\theta }^2}\ln p(x;\theta )\right)=\frac{1}{{\theta }^2}.$$

而

$$g^{\prime }(\theta )=-{\theta }^{-2},$$

于是 $g(\theta )$ 的任一无偏估计的 C-R 下界为

$$\frac{[g^{\prime }(\theta ){]}^2}{nI(\theta )}=\frac{1}{n{\theta }^2}.$$

从而 $\hat{g}(\theta )=-\frac{1}{n}{\sum }_{i=1}^n\ln x_i$ 是 $g(\theta )$ 的无偏估计，且方差达到了 C-R 下界，所以 $\hat{g}(\theta )=-\frac{1}{n}{\sum }_{i=1}^n\ln x_i$ 是 $g(\theta )$ 的有效估计。

习题 6.4-7

设总体密度函数为

$$p(x;\theta )=\frac{2\theta }{x^3}{e}^{-\theta /x^2},x>0,\theta >0,$$

求 $\theta$ 的费希尔信息量 $I(\theta )$。

解 对数密度函数为

$$\ln p(x;\theta )=\ln 2+\ln \theta -3\ln x-\theta /x^2,$$

于是

$$\frac{\partial \ln p(x;\theta )}{\partial \theta }=\frac{1}{\theta }-\frac{1}{x^2},\frac{{\partial }^2\ln p(x;\theta )}{\partial {\theta }^2}=-\frac{1}{{\theta }^2},$$

由此给出

$$I(\theta )=-E\left(\frac{{\partial }^2\ln p(x;\theta )}{\partial {\theta }^2}\right)=\frac{1}{{\theta }^2}.$$

习题 6.4-8

设总体密度函数为

$$p(x;\theta )=\theta c^{\theta }{x}^{-(\theta +1)},x>c,c>0\text{已知},\theta >0,$$

求 $\theta$ 的费希尔信息量 $I(\theta )$。

解 对数密度函数为

$$\ln p(x;\theta )=\ln \theta +\theta \ln c-(\theta +1)\ln x,$$

将上式对 $\theta$ 求导，得到

$$\frac{\partial \ln p(x;\theta )}{\partial \theta }=\frac{1}{\theta }+\ln c-\ln x,$$

二阶导函数为

$$\frac{{\partial }^2\ln p(x;\theta )}{\partial {\theta }^2}=-\frac{1}{{\theta }^2},$$

于是

$$I(\theta )=-E\left(\frac{{\partial }^2\ln p(x;\theta )}{\partial {\theta }^2}\right)=\frac{1}{{\theta }^2}.$$

习题 6.4-9

设总体分布列为

$$P(X=x)=(x-1){\theta }^2(1-\theta {)}^{x-2},x=2,3,\cdots ,0<\theta <1,$$

求 $\theta$ 的费希尔信息量 $I(\theta )$。

解 对数分布列为

$$\ln P(X=x)=\ln (x-1)+2\ln \theta +(x-2)\ln (1-\theta ).$$

求一、二阶导数，有

$$\frac{\partial \ln P(X=x)}{\partial \theta }=\frac{2}{\theta }-\frac{x-2}{1-\theta },\frac{{\partial }^2\ln P(X=x)}{\partial {\theta }^2}=-\frac{2}{{\theta }^2}-\frac{x-2}{(1-\theta {)}^2}.$$

在本章 $6.2$ 节第 $3$ 题中，我们已经算得

$$E(x)=\frac{2}{\theta },$$

于是

$$I(\theta )=-E\left(\frac{{\partial }^2\ln P(X=x)}{\partial {\theta }^2}\right)=\frac{2}{{\theta }^2}+\frac{E(x)-2}{(1-\theta {)}^2}=\frac{2}{{\theta }^2(1-\theta )}.$$

习题 6.4-10

设 $x_1,x_2,\cdots ,x_n$ 是来自 $Ga(\alpha ,\lambda )$ 的样本，$\alpha >0$ 已知，试证明 $\bar{x}/\alpha$ 是 $g(\lambda )=1/\lambda$ 的有效估计，从而也是 UMVUE。

解 总体 $Ga(\alpha ,\lambda )$ 的密度函数为

$$p(x;\lambda )=\frac{{\lambda }^{\alpha }}{\Gamma (\alpha )}{x}^{\alpha -1}{e}^{-\lambda x},x>0,$$

于是

$$\ln p(x;\lambda )=\alpha \ln \lambda -\ln \Gamma (\alpha )+(\alpha -1)\ln x-\lambda x,$$ $$\frac{\partial \ln p(x;\lambda )}{\partial \lambda }=\frac{\alpha }{\lambda }-x,\frac{{\partial }^2\ln p(x;\lambda )}{\partial {\lambda }^2}=-\frac{\alpha }{{\lambda }^2}.$$

所以 $\lambda$ 的费希尔信息量为

$$I(\lambda )=\frac{\alpha }{{\lambda }^2},$$

这就是说 $g(\lambda )=\frac{1}{\lambda }$ 的任一无偏估计的 C-R 下界为

$$\frac{[g^{\prime }(\lambda ){]}^2}{nI(\lambda )}=\frac{1}{n\alpha {\lambda }^2}.$$

又

$$E\left(\frac{\bar{x}}{\alpha }\right)=\frac{1}{\alpha }\cdot \frac{\alpha }{\lambda }=\frac{1}{\lambda },\mathrm{Var}\left(\frac{\bar{x}}{\alpha }\right)=\frac{1}{{\alpha }^2}\cdot \frac{1}{n}\cdot \frac{\alpha }{{\lambda }^2}=\frac{1}{n\alpha {\lambda }^2}.$$

这就证明了 $\bar{x}/\alpha$ 是 $g(\lambda )=1/\lambda$ 的有效估计，从而也是 UMVUE。

习题 6.4-11

设 $x_1,x_2,\cdots ,x_m\text{ i.i.d.}\sim N(a,{\sigma }^2)$，$y_1,y_2,\cdots ,y_n\text{ i.i.d.}\sim N(a,2{\sigma }^2)$，求 $a$ 和 ${\sigma }^2$ 的 UMVUE。

解 直观上，可考虑 $\bar{x}$ 和 $\bar{y}$ 的凸线性组合

$${\hat{a}}_l=l\bar{x}+(1-l)\bar{y},$$

易知 ${\hat{a}}_l$ 为 $a$ 的无偏估计，且当

$$l=\frac{2m}{2m+n}$$

时，$\mathrm{Var}({\hat{a}}_l)$ 达到最小。下证

$$\hat{a}=\frac{2m\bar{x}+n\bar{y}}{2m+n}$$

为 $a$ 的 UMVUE。

$(x_1,x_2,\cdots ,x_m,y_1,y_2,\cdots ,y_n)$ 的联合密度函数为

$$\begin{array}{rl}& p(x_1,\cdots ,x_m,y_1,\cdots ,y_n,a,{\sigma }^2)\\ & ={\left(\frac{1}{\sqrt{2\pi }\sigma }\right)}^{m+n}{2}^{-\frac{n}{2}}\exp \left\{-\sum _{i=1}^m\frac{(x_i-a{)}^2}{2{\sigma }^2}-\sum _{i=1}^n\frac{(y_i-a{)}^2}{4{\sigma }^2}\right\}\\ & ={\left(\frac{1}{\sqrt{2\pi }\sigma }\right)}^{m+n}{2}^{-\frac{n}{2}}\exp \left\{-\frac{1}{2{\sigma }^2}\left(\sum _{i=1}^m{x}_i^2+\frac{1}{2}\sum _{i=1}^n{y}_i^2\right)+\frac{m\bar{x}+\frac{1}{2}n\bar{y}}{{\sigma }^2}a-\frac{m+\frac{1}{2}n}{2{\sigma }^2}{a}^2\right\}.\end{array}$$

设 $\phi (x_1,\cdots ,x_m,y_1,\cdots ,y_n)$ 是 $0$ 的任一无偏估计，则

$$E(\phi )={\int }_{-\infty }^{\infty }\cdots {\int }_{-\infty }^{\infty }\phi \cdot p(x_1,\cdots ,x_m,y_1,\cdots ,y_n,a,{\sigma }^2)\mathrm{d}{x}_1\cdots \mathrm{d}{x}_m\mathrm{d}{y}_1\cdots \mathrm{d}{y}_n=0,$$

即

$$\begin{array}{rl}& {\int }_{-\infty }^{\infty }\cdots {\int }_{-\infty }^{\infty }\phi \cdot {\left(\frac{1}{\sqrt{2\pi }\sigma }\right)}^{m+n}{2}^{-\frac{n}{2}}\exp \{-\frac{1}{2{\sigma }^2}\left(\sum _{i=1}^m{x}_i^2+\frac{1}{2}\sum _{i=1}^n{y}_i^2\right)\\ & +\frac{m\bar{x}+\frac{1}{2}n\bar{y}}{{\sigma }^2}a-\frac{m+\frac{1}{2}n}{2{\sigma }^2}{a}^2\}\mathrm{d}{x}_1\cdots \mathrm{d}{x}_m\mathrm{d}{y}_1\cdots \mathrm{d}{y}_n=0.\end{array}\text{\hspace{1em}(1)}$$

将 ① 式两端对 $a$ 求导，并注意到 $E(\phi )=0$，有

$$\begin{array}{rl}& {\int }_{-\infty }^{\infty }\cdots {\int }_{-\infty }^{\infty }\frac{m\bar{x}+\frac{1}{2}n\bar{y}}{{\sigma }^2}\phi \cdot {\left(\frac{1}{\sqrt{2\pi }\sigma }\right)}^{m+n}{2}^{-\frac{n}{2}}\exp \{-\frac{1}{2{\sigma }^2}\left(\sum _{i=1}^m{x}_i^2+\frac{1}{2}\sum _{i=1}^n{y}_i^2\right)\\ & +\frac{m\bar{x}+\frac{1}{2}n\bar{y}}{{\sigma }^2}a-\frac{m+\frac{1}{2}n}{2{\sigma }^2}{a}^2\}\mathrm{d}{x}_1\cdots \mathrm{d}{x}_m\mathrm{d}{y}_1\cdots \mathrm{d}{y}_n=0.\end{array}\text{\hspace{1em}(2)}$$

这说明

$$E\left(\frac{m\bar{x}+\frac{1}{2}n\bar{y}}{{\sigma }^2}\phi \right)=0,$$

即

$$E\left(\left(m\bar{x}+\frac{1}{2}n\bar{y}\right)\phi \right)=0.$$

于是

$$\mathrm{Cov}\left(m\bar{x}+\frac{1}{2}n\bar{y},\phi \right)=E\left(\left(m\bar{x}+\frac{1}{2}n\bar{y}\right)\phi \right)-E\left(m\bar{x}+\frac{1}{2}n\bar{y}\right)E(\phi )=0,$$

从而

$$\hat{a}=\frac{2m\bar{x}+n\bar{y}}{2m+n}$$

是 $a$ 的 UMVUE。

我们将 ② 式的两端再对 $a$ 求导，得

$$\begin{array}{rl}& {\int }_{-\infty }^{\infty }\cdots {\int }_{-\infty }^{\infty }\left(\frac{{\left(m\bar{x}+\frac{1}{2}n\bar{y}\right)}^2}{{\sigma }^4}-\left(m+\frac{1}{2}n\right)\frac{1}{{\sigma }^2}\frac{m\bar{x}+\frac{1}{2}n\bar{y}}{{\sigma }^2}a\right)\phi \cdot {\left(\frac{1}{\sqrt{2\pi }\sigma }\right)}^{m+n}{2}^{-\frac{n}{2}}\\ & \times \exp \left\{-\frac{1}{2{\sigma }^2}\left(\sum _{i=1}^m{x}_i^2+\frac{1}{2}\sum _{i=1}^n{y}_i^2\right)+\frac{m\bar{x}+\frac{1}{2}n\bar{y}}{{\sigma }^2}a-\frac{m+\frac{1}{2}n}{2{\sigma }^2}{a}^2\right\}\mathrm{d}{x}_1\cdots \mathrm{d}{x}_m\mathrm{d}{y}_1\cdots \mathrm{d}{y}_n=0.\end{array}$$

由此可以得到

$$E\left({\left(m\bar{x}+\frac{1}{2}n\bar{y}\right)}^2\phi \right)=0.$$

下一步，将 ① 式两端对 ${\sigma }^2$ 求导，略去几个前面已经指出积分为 $0$ 的项，有

$$\begin{array}{rl}& {\int }_{-\infty }^{\infty }\cdots {\int }_{-\infty }^{\infty }\left(\sum _{i=1}^m{x}_i^2+\frac{1}{2}\sum _{i=1}^n{y}_i^2\right)\phi \cdot {\left(\frac{1}{\sqrt{2\pi }\sigma }\right)}^{m+n}{2}^{-\frac{n}{2}}\exp \{-\frac{1}{2{\sigma }^2}\left(\sum _{i=1}^m{x}_i^2+\frac{1}{2}\sum _{i=1}^n{y}_i^2\right)\\ & +\frac{m\bar{x}+\frac{1}{2}n\bar{y}}{{\sigma }^2}a-\frac{m+\frac{1}{2}n}{2{\sigma }^2}{a}^2\}\mathrm{d}{x}_1\cdots \mathrm{d}{x}_m\mathrm{d}{y}_1\cdots \mathrm{d}{y}_n=0.\end{array}$$

这表明

$$E\left[\phi \cdot \left(\sum _{i=1}^m{x}_i^2+\frac{1}{2}\sum _{i=1}^n{y}_i^2\right)\right]=0.$$

记

$$T=\sum _{i=1}^m{x}_i^2+\frac{1}{2}\sum _{i=1}^n{y}_i^2-\frac{{\left(m\bar{x}+\frac{1}{2}n\bar{y}\right)}^2}{m+\frac{1}{2}n},$$

由此可得到 $E(T\phi )=0$，因而 $\mathrm{Cov}(T,\phi )=0$。

由于

$$E\left(\sum _{i=1}^m{x}_i^2+\frac{1}{2}\sum _{i=1}^n{y}_i^2\right)=\left(m+\frac{1}{2}n\right)a^2+(m+n){\sigma }^2,$$ $$E{\left(m\bar{x}+\frac{1}{2}n\bar{y}\right)}^2={\left(m+\frac{1}{2}n\right)}^2{a}^2+\left(m+\frac{1}{2}n\right){\sigma }^2,$$

所以，

$$E(T)=\left(m+\frac{1}{2}n\right)a^2+(m+n){\sigma }^2-\left(m+\frac{1}{2}n\right)a^2-{\sigma }^2=(m+n-1){\sigma }^2,$$

故

$$(m+n-1{)}^{-1}T$$

是 ${\sigma }^2$ 的 UMVUE。

注意，这里 ${\sigma }^2$ 的估计不能是 $s_x^2$ 和 $s_y^2$ 的凸组合，为什么？留给读者思考。

习题 6.4-12

设 $x_1,x_2,\cdots ,x_n\text{ i.i.d.}\sim N(\mu ,1)$，求 ${\mu }^2$ 的 UMVUE。证明此 UMVUE 达不到 C-R 不等式的下界，即它不是有效估计。

解 设 $\phi (x_1,x_2,\cdots ,x_n)$ 是 $0$ 的任一无偏估计，则

$$E(\phi )={\int }_{-\infty }^{\infty }\cdots {\int }_{-\infty }^{\infty }\phi \cdot \prod _{i=1}^n\frac{1}{\sqrt{2\pi }}\exp \left\{-\frac{(x_i-\mu {)}^2}{2}\right\}\mathrm{d}{x}_1\cdots \mathrm{d}{x}_n=0,$$

即

$${\int }_{-\infty }^{\infty }\cdots {\int }_{-\infty }^{\infty }\phi \cdot (2\pi {)}^{-\frac{n}{2}}\exp \left\{-\frac{1}{2}\sum _{i=1}^n{x}_i^2+n\bar{x}\mu -\frac{n{\mu }^2}{2}\right\}\mathrm{d}{x}_1\cdots \mathrm{d}{x}_n=0.\text{\hspace{1em}(1)}$$

将 ① 式两端对 $\mu$ 求导，并注意到 $E(\phi )=0$，有

$${\int }_{-\infty }^{\infty }\cdots {\int }_{-\infty }^{\infty }n\bar{x}\phi \cdot (2\pi {)}^{-\frac{n}{2}}\exp \left\{-\frac{1}{2}\sum _{i=1}^n{x}_i^2+n\bar{x}\mu -\frac{n{\mu }^2}{2}\right\}\mathrm{d}{x}_1\cdots \mathrm{d}{x}_n=0.\text{\hspace{1em}(2)}$$

这说明 $E(n\bar{x}\phi )=0$，即 $E(\bar{x}\phi )=0$。

我们将 ② 式的两端再对 $\mu$ 求导，得

$${\int }_{-\infty }^{\infty }\cdots {\int }_{-\infty }^{\infty }(n\bar{x}{)}^2\phi \cdot (2\pi {)}^{-\frac{n}{2}}\exp \left\{-\frac{1}{2}\sum _{i=1}^n{x}_i^2+n\bar{x}\mu -\frac{n{\mu }^2}{2}\right\}\mathrm{d}{x}_1\cdots \mathrm{d}{x}_n$$ $$-{\int }_{-\infty }^{\infty }\cdots {\int }_{-\infty }^{\infty }n\bar{x}\cdot n\mu \phi \cdot (2\pi {)}^{-\frac{n}{2}}\exp \left\{-\frac{1}{2}\sum _{i=1}^n{x}_i^2+n\bar{x}\mu -\frac{n{\mu }^2}{2}\right\}\mathrm{d}{x}_1\cdots \mathrm{d}{x}_n=0,$$

由此可以得到

$$E({\bar{x}}^2\phi )=0.$$

记

$$T={\bar{x}}^2-\frac{1}{n},$$

则

$$\mathrm{Cov}(T,\phi )=0,E(T)={\mu }^2,$$

从而

$$T={\bar{x}}^2-\frac{1}{n}$$

为 ${\mu }^2$ 的 UMVUE。

进一步，

$$\mathrm{Var}(T)=\mathrm{Var}({\bar{x}}^2)=\frac{2}{n^2}+\frac{4}{n}{\mu }^2,$$

C-R 下界为

$$\frac{4{\mu }^2}{nI(\mu )}=\frac{4{\mu }^2}{n}.$$

故此 UMVUE 的方差还达不到 C-R 不等式的下界。

习题 6.4-13

对泊松分布 $P(\theta )$，

1. 求 $I\left(\frac{1}{\theta }\right)$；
2. 找一个函数 $g(\cdot )$，使 $g(\theta )$ 的费希尔信息量与 $\theta$ 无关。

解 （1）

$$I\left(\frac{1}{\theta }\right)=I(\theta ){\left(\frac{\mathrm{d}\theta }{\mathrm{d}(1/\theta )}\right)}^2={\theta }^{4}I(\theta )={\theta }^3.$$

（2）

$$I(g(\theta ))=I(\theta ){\left(\frac{\mathrm{d}\theta }{\mathrm{d}g(\theta )}\right)}^2.$$

令

$$I(g(\theta ))=c$$

（其中 $c$ 为大于 $0$ 的任意常数），则

$$\frac{\mathrm{d}\theta }{\mathrm{d}g(\theta )}=\sqrt{c\theta }.$$

所以，

$$g(\theta )=\frac{2}{\sqrt{c}}\sqrt{\theta }+c_2$$

（其中 $c_2$ 为任意常数）。

习题 6.4-14

设 $x_1,x_2,\cdots ,x_n$ 为独立同分布变量，$0<\theta <1$，

$$P(x_1=-1)=\frac{1-\theta }{2},P(x_1=0)=\frac{1}{2},P(x_1=1)=\frac{\theta }{2}.$$

1. 求 $\theta$ 的 MLE ${\hat{\theta }}_1$，并问 ${\hat{\theta }}_1$ 是否是无偏的；
2. 求 $\theta$ 的矩估计 ${\hat{\theta }}_2$；
3. 计算 $\theta$ 的无偏估计的方差的 C-R 下界。

解 **（1）**方法一 设 $x_1,x_2,\cdots ,x_n$ 中取值 $-1,0,1$ 分别有 $n_{-1},n_0,n_1$ 次，有 $n_{-1}+n_0+n_1=n$，则似然函数

$$L(\theta )={\left(\frac{1-\theta }{2}\right)}^{n_{-1}}{\left(\frac{1}{2}\right)}^{n_0}{\left(\frac{\theta }{2}\right)}^{n_1}=\frac{(1-\theta {)}^{n_{-1}}{\theta }^{n_1}}{2^n},$$

有

$$\ln L(\theta )=n_{-1}\ln (1-\theta )+n_1\ln \theta -n\ln 2,$$

令

$$\frac{\mathrm{d}\ln L(\theta )}{\mathrm{d}\theta }=n_{-1}\cdot \frac{-1}{1-\theta }+n_1\cdot \frac{1}{\theta }=0,$$

得

$$\theta =\frac{n_1}{n_{-1}+n_1},$$

故 $\theta$ 的 MLE ${\hat{\theta }}_1=\frac{n_1}{n_{-1}+n_1}$。

方法二 总体 $X$ 的密度函数为

$$p(x;\theta )={\left(\frac{1-\theta }{2}\right)}^{\frac{x(x-1)}{2}}{\left(\frac{1}{2}\right)}^{-(x+1)(x-1)}{\left(\frac{\theta }{2}\right)}^{\frac{x(x+1)}{2}}=\frac{1}{2}(1-\theta {)}^{\frac{x^2-x}{2}}{\theta }^{\frac{x^2+x}{2}},x=-1,0,1,$$

则似然函数

$$L(\theta )=\prod _{i=1}^n\frac{1}{2}(1-\theta {)}^{\frac{x_i^2-x_i}{2}}{\theta }^{\frac{x_i^2+x_i}{2}}=\frac{1}{2^n}(1-\theta {)}^{\frac{1}{2}\left({\sum }_{i=1}^n{x}_i^2-{\sum }_{i=1}^n{x}_i\right)}{\theta }^{\frac{1}{2}\left({\sum }_{i=1}^n{x}_i^2+{\sum }_{i=1}^n{x}_i\right)},$$

有

$$\ln L(\theta )=\frac{1}{2}\left(\sum _{i=1}^n{x}_i^2-\sum _{i=1}^n{x}_i\right)\ln (1-\theta )+\frac{1}{2}\left(\sum _{i=1}^n{x}_i^2+\sum _{i=1}^n{x}_i\right)\ln \theta -n\ln 2,$$

令

$$\frac{\mathrm{d}\ln L(\theta )}{\mathrm{d}\theta }=\frac{1}{2}\left(\sum _{i=1}^n{x}_i^2-\sum _{i=1}^n{x}_i\right)\frac{-1}{1-\theta }+\frac{1}{2}\left(\sum _{i=1}^n{x}_i^2+\sum _{i=1}^n{x}_i\right)\frac{1}{\theta }=0,$$

得

$$\theta =\frac{{\sum }_{i=1}^n{x}_i^2+{\sum }_{i=1}^n{x}_i}{2{\sum }_{i=1}^n{x}_i^2}=\frac{1}{2}+\frac{{\sum }_{i=1}^n{x}_i}{2{\sum }_{i=1}^n{x}_i^2},$$

故 $\theta$ 的 MLE

$${\hat{\theta }}_1=\frac{1}{2}+\frac{{\sum }_{i=1}^n{X}_i}{2{\sum }_{i=1}^n{X}_i^2}.$$

注：因 $X_i$ 全部可能取值 $-1,0,1$，有

$$\sum _{i=1}^n{X}_i^2=n_{-1}+n_1,\sum _{i=1}^n{X}_i=n_1-n_{-1},$$

即以上两个结果一致。

因

$$E({\hat{\theta }}_1)=E\left(\frac{n_1}{n_{-1}+n_1}\right)=E\left[E\left(\frac{n_1}{n_{-1}+n_1}|n_{-1}+n_1\right)\right],$$

且

$$P(x_1=1\mid x_1=-1\text{或}{x}_1=1)=\frac{P(x_1=1)}{P(x_1=-1\text{或}{x}_1=1)}=\frac{\theta /2}{(1-\theta )/2+\theta /2}=\theta ,$$

则在 $n_{-1}+n_1=m$ 的条件下，$n_1$ 服从二项分布 $b(m,\theta )$，$E(n_1\mid n_{-1}+n_1=m)=m\theta$， 可得

$$E\left(\frac{n_1}{n_{-1}+n_1}|n_{-1}+n_1\right)=\theta ,$$

即

$$E({\hat{\theta }}_1)=E\left[E\left(\frac{n_1}{n_{-1}+n_1}|n_{-1}+n_1\right)\right]=E(\theta )=\theta .$$

${\hat{\theta }}_1$ 是 $\theta$ 的无偏估计。

**（2）**因为

$$E(x_1)=-1\times \frac{1-\theta }{2}+0\times \frac{1}{2}+1\times \frac{\theta }{2}=\theta -\frac{1}{2},$$

所以 $\theta$ 的矩估计为

$${\hat{\theta }}_2=\bar{x}+\frac{1}{2}.$$

（3）

$$\ln p(x;\theta )=\frac{1}{2}(x^2-x)\ln \left(\frac{1-\theta }{2}\right)-(1-x^2)\ln 2+\frac{1}{2}(x^2+x)\ln \left(\frac{\theta }{2}\right),$$

关于 $\theta$ 求导，得

$$\frac{\mathrm{d}\ln p(x;\theta )}{\mathrm{d}\theta }=-\frac{1}{2}(x^2-x)\frac{1}{1-\theta }+\frac{1}{2}(x^2+x)\frac{1}{\theta },$$ $$\begin{array}{rl}I(\theta )& =E{\left(\frac{\mathrm{d}\ln p(x;\theta )}{\mathrm{d}\theta }\right)}^2\\ & ={\left(-\frac{1}{1-\theta }\right)}^2\frac{1-\theta }{2}+0\times \frac{1}{2}+{\left(\frac{1}{\theta }\right)}^2\frac{\theta }{2}\\ & =\frac{1}{2}\left(\frac{1}{1-\theta }+\frac{1}{\theta }\right)=\frac{1}{2\theta (1-\theta )}.\end{array}$$

所以，$\theta$ 的无偏估计的方差的 C-R 下界为

$$\frac{2\theta (1-\theta )}{n}.$$

习题 6.4-15

设总体 $X\sim Exp(1/\theta )$，$x_1,x_2,\cdots ,x_n$ 是样本，$\theta$ 的矩估计和最大似然估计都是 $\bar{x}$，它也是 $\theta$ 的相合估计和无偏估计，试证明在均方误差准则下存在优于 $\bar{x}$ 的估计（提示：考虑 ${\hat{\theta }}_a=a\bar{x}$，找均方误差最小者）。

解 令

$${\hat{\theta }}_a=a\bar{x},$$

则

$$\mathrm{MSE}({\hat{\theta }}_a)=\mathrm{Var}({\hat{\theta }}_a)+(E{\hat{\theta }}_a-\theta {)}^2=a^2\mathrm{Var}(\bar{x})+(aE(\bar{x})-\theta {)}^2=a^2\frac{{\theta }^2}{n}+{\theta }^2(a-1{)}^2.$$

对上式求导易知，当

$$a=\frac{n}{n+1}$$

时上式达到最小，最小值为

$$\frac{{\theta }^2}{n+1},$$

它小于 $\bar{x}$ 的均方误差

$$\frac{{\theta }^2}{n}.$$

补充习题及解答

补充习题 16

设 $x_1,x_2,\cdots ,x_n$ 独立同分布，$x_1$ 的取值有四种可能，其概率分别为

$$p_1=1-\theta ,p_2=\theta -{\theta }^2,p_3={\theta }^2-{\theta }^3,p_4={\theta }^3,$$

记 $N_j$ 为 $x_1,x_2,\cdots ,x_n$ 中出现各种可能结果的次数，$N_1+N_2+N_3+N_4=n$。

1. 确定 $a_1,a_2,a_3,a_4$，使 $T={\sum }_{i=1}^4{a}_i{N}_i$ 为 $\theta$ 的无偏估计；
2. 将 $\mathrm{Var}(T)$ 与 $\theta$ 的无偏估计方差的 C-R 下界比较。

解 **（1）**由于 $N_i\sim b(n,p_i)$，$i=1,2,3,4$，所以 $E(N_i)=n{p}_i$，从而有

$$\begin{array}{rl}E(T)& =\sum _{j=1}^4{a}_{j}E(N_j)\\ & =a_{1}n(1-\theta )+a_{2}n(\theta -{\theta }^2)+a_{3}n({\theta }^2-{\theta }^3)+a_{4}n{\theta }^3\\ & =n{a}_1+n(a_2-a_1)\theta +n(a_3-a_2){\theta }^2+n(a_4-a_3){\theta }^3.\end{array}$$

若使 $T$ 为 $\theta$ 的无偏估计，即要求

$$\{\begin{array}{l}n{a}_1=0,\\ n(a_2-a_1)=1,\\ n(a_3-a_2)=0,\\ n(a_4-a_3)=0,\end{array}$$

解之得

$$a_1=0,a_2=a_3=a_4=\frac{1}{n}.$$

即

$$T=\frac{N_2+N_3+N_4}{n}$$

是 $\theta$ 的无偏估计。

（2）

$$P(N_j=n_j,j=1,2,3,4)=\frac{n!}{n_1!n_2!n_3!n_4!}(1-\theta {)}^{n_1}(\theta -{\theta }^2{)}^{n_2}({\theta }^2-{\theta }^3{)}^{n_3}({\theta }^3{)}^{n_4}$$ $$=\frac{n!}{n_1!n_2!n_3!n_4!}{\theta }^{n_2+2n_3+3n_4}(1-\theta {)}^{n_1+n_2+n_3},$$

对数似然函数为（略去与 $\theta$ 无关的项）

$$\ln L=(n_2+2n_3+3n_4)\ln \theta +(n_1+n_2+n_3)\ln (1-\theta ).$$

于是

$$\frac{\partial \ln L}{\partial \theta }=\frac{n_2+2n_3+3n_4}{\theta }-\frac{n_1+n_2+n_3}{1-\theta },$$ $$\frac{{\partial }^2\ln L}{\partial {\theta }^2}=-\frac{n_2+2n_3+3n_4}{{\theta }^2}-\frac{n_1+n_2+n_3}{(1-\theta {)}^2}.$$

注意到观测量 $n_1,n_2,n_3,n_4$ 是随机变量，且 $E(n_j)=n{p}_j$，故

$$E(n_2+2n_3+3n_4)=n((\theta -{\theta }^2)+2({\theta }^2-{\theta }^3)+3{\theta }^3)=n(\theta +{\theta }^2+{\theta }^3),$$ $$E(n_1+n_2+n_3)=n((1-\theta )+(\theta -{\theta }^2)+({\theta }^2-{\theta }^3))=n(1-{\theta }^3).$$

从而费希尔信息量为

$$\begin{array}{rl}I(\theta )& =-E\left(\frac{{\partial }^2\ln L}{\partial {\theta }^2}\right)\\ & =\frac{n(\theta +{\theta }^2+{\theta }^3)}{{\theta }^2}+\frac{n(1-{\theta }^3)}{(1-\theta {)}^2}=\frac{n(1+\theta +{\theta }^2)}{\theta (1-\theta )}.\end{array}$$

所以 $\theta$ 的无偏估计方差的 C-R 下界为

$$\frac{\theta (1-\theta )}{n(1+\theta +{\theta }^2)}.$$

由于

$$N_2+N_3+N_4=n-N_1\sim b(n,\theta ),$$

于是

$$\mathrm{Var}(T)=\frac{1}{n^2}\mathrm{Var}(N_2+N_3+N_4)=\frac{\theta (1-\theta )}{n}\frac{\theta (1-\theta )}{n(1+\theta +{\theta }^2)},$$

即 $T$ 的方差没有达到 $\theta$ 的无偏估计方差的 C-R 下界。

补充习题 17

设 $x_1,x_2,\cdots ,x_n$ 是来自正态总体 $N(\mu ,{\sigma }^2)$ 的一个样本，若均值 $\mu$ 已知，证明：

1. ${\hat{\sigma }}^2=\frac{1}{n}{\sum }_{i=1}^n(x_i-\mu {)}^2$ 是 ${\sigma }^2$ 的有效估计；
2. $\hat{\sigma }=\frac{1}{n}\sqrt{\frac{\pi }{2}}{\sum }_{i=1}^n|x_i-\mu |$ 是 $\sigma$ 的无偏估计，但不是有效估计。

解 **（1）**由

$$\frac{n{\hat{\sigma }}^2}{{\sigma }^2}\sim {\chi }^2(n)$$

知 $E({\hat{\sigma }}^2)={\sigma }^2$，

$$\mathrm{Var}({\hat{\sigma }}^2)=\frac{2{\sigma }^4}{n}.$$

为了获得 ${\sigma }^2$ 的无偏估计的 C-R 下界，需要费希尔信息量。正态分布 $N(\mu ,{\sigma }^2)$ 的密度函数 $p(x)$ 的对数是

$$\ln p(x)=-\frac{1}{2}\ln 2\pi -\frac{1}{2}\ln {\sigma }^2-\frac{(x-\mu {)}^2}{2{\sigma }^2},$$ $$\frac{\partial \ln p(x)}{\partial {\sigma }^2}=-\frac{1}{2{\sigma }^2}+\frac{(x-\mu {)}^2}{2{\sigma }^4}=\frac{1}{2{\sigma }^4}[(x-\mu {)}^2-{\sigma }^2].$$

由此得 ${\sigma }^2$ 的费希尔信息量

$$\begin{array}{rl}I({\sigma }^2)& =E{\left[\frac{\partial \ln p(x)}{\partial {\sigma }^2}\right]}^2\\ & =\frac{1}{4{\sigma }^8}[E(x-\mu {)}^4-2{\sigma }^{2}E(x-\mu {)}^2+{\sigma }^4]\\ & =\frac{1}{4{\sigma }^8}[3{\sigma }^4-2{\sigma }^4+{\sigma }^4]=\frac{1}{2{\sigma }^4}.\end{array}$$

从而 ${\sigma }^2$ 的无偏估计的 C-R 下界为

$$[nI({\sigma }^2){]}^{-1}={\left[\frac{n}{2{\sigma }^4}\right]}^{-1}=\frac{2{\sigma }^4}{n},$$

此下界与上述 ${\hat{\sigma }}^2$ 无偏估计的方差相等，故此 ${\hat{\sigma }}^2$ 是 ${\sigma }^2$ 的有效估计。

**（2）**由于

$$E(|x_i-\mu |)=\frac{1}{\sqrt{2\pi }\sigma }{\int }_{-\infty }^{\infty }|x-\mu |e^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}\mathrm{d}x=\frac{2\sigma }{\sqrt{2\pi }}{\int }_0^{\infty }y{e}^{-y^2/2}\mathrm{d}y=\sqrt{\frac{2}{\pi }}\sigma .$$

可见，

$$E(\hat{\sigma })=\sigma ,$$

即 $\hat{\sigma }$ 是 $\sigma$ 的无偏估计，其方差为

$$\begin{array}{rl}\mathrm{Var}(\hat{\sigma })& =\frac{\pi }{2n^2}\sum _{i=1}^n\mathrm{Var}(|x_i-\mu |)\\ & =\frac{\pi }{2n}\left[E(x_i-\mu {)}^2-(E|x_i-\mu |{)}^2\right]\\ & =\frac{\pi }{2n}\left({\sigma }^2-\frac{2}{\pi }{\sigma }^2\right)=\frac{\pi -2}{2n}{\sigma }^2.\end{array}$$

为了获得 $\sigma$ 的无偏估计的 C-R 下界，需要知道 $\sigma$ 的费希尔信息量。由于

$$\frac{\partial \ln p(x)}{\partial \sigma }=-\frac{1}{\sigma }+\frac{(x-\mu {)}^2}{{\sigma }^3}=\frac{1}{{\sigma }^3}[(x-\mu {)}^2-{\sigma }^2],$$ $$\begin{array}{rl}I(\sigma )& =E{\left(\frac{\partial \ln p(x)}{\partial \sigma }\right)}^2\\ & =\frac{1}{{\sigma }^6}[E(x-\mu {)}^4-2{\sigma }^{2}E(x-\mu {)}^2+{\sigma }^4]\\ & =\frac{1}{{\sigma }^6}[3{\sigma }^4-2{\sigma }^4+{\sigma }^4]=\frac{2}{{\sigma }^2}.\end{array}$$

从而 $\sigma$ 的无偏估计的 C-R 下界为

$$[nI(\sigma ){]}^{-1}={\left[\frac{2n}{{\sigma }^2}\right]}^{-1}=\frac{{\sigma }^2}{2n},$$

由于无偏估计 $\hat{\sigma }$ 的方差

$$\frac{\pi -2}{2n}{\sigma }^2>\frac{{\sigma }^2}{2n},$$

故 $\hat{\sigma }$ 不是 $\sigma$ 的有效估计。此处，$\sigma$ 的无偏估计的 C-R 下界与 $\hat{\sigma }$ 方差的比为

$$\frac{{\sigma }^2/(2n)}{(\pi -2){\sigma }^2/(2n)}=\frac{1}{\pi -2}=0.876,$$

该比值常称为无偏估计 $\hat{\sigma }$ 的效。

补充习题 18

证明：若 $T_1$ 与 $T_2$ 是未知参数 $g(\theta )$ 的两个 UMVUE，则 $T_1=T_2$ 依概率几乎处处成立。这个命题表明：$g(\theta )$ 的 UMVUE 在几乎处处的意义下是唯一的。

解 首先指出 $T_1-T_2$ 是 $0$ 的无偏估计，则由教材中定理 $\mathrm{6.4.1}$ 知

$$\mathrm{Cov}(T_i,T_1-T_2)=E[T_i(T_1-T_2)]=0,i=1,2,$$

于是

$$\begin{array}{rl}E((T_1-T_2{)}^2)& =E(T_1^2+T_2^2-2T_1{T}_2)\\ & =E[T_1(T_1-T_2)]+E[T_2(T_2-T_1)]=0,\end{array}$$

由此立即可得 $(T_1-T_2{)}^2=0$，即 $T_1=T_2$，几乎处处成立。

补充习题 19

设 $x_1,x_2,\cdots ,x_n$ 是来自正态总体 $N(\mu ,{\sigma }^2)$ 的一个样本，对 ${\sigma }^2$ 考虑如下三个估计：

$${\hat{\sigma }}_1^2=\frac{1}{n-1}\sum _{i=1}^n(x_i-\bar{x}{)}^2,{\hat{\sigma }}_2^2=\frac{1}{n}\sum _{i=1}^n(x_i-\bar{x}{)}^2,{\hat{\sigma }}_3^2=\frac{1}{n+1}\sum _{i=1}^n(x_i-\bar{x}{)}^2.$$

1. 哪一个是 ${\sigma }^2$ 的无偏估计？
2. 哪一个均方误差最小？

解 **（1）**由于

$$\frac{1}{{\sigma }^2}\sum _{i=1}^n(x_i-\bar{x}{)}^2\sim {\chi }^2(n-1),$$

故有

$$E\left[\sum _{i=1}^n(x_i-\bar{x}{)}^2\right]=(n-1){\sigma }^2,$$

从而

$$E({\hat{\sigma }}_1^2)={\sigma }^2,E({\hat{\sigma }}_2^2)=\frac{n-1}{n}{\sigma }^2,E({\hat{\sigma }}_3^2)=\frac{n-1}{n+1}{\sigma }^2.$$

这说明仅有 ${\hat{\sigma }}_1^2$ 是 ${\sigma }^2$ 的无偏估计，而 ${\hat{\sigma }}_2^2$ 与 ${\hat{\sigma }}_3^2$ 是 ${\sigma }^2$ 的有偏估计。

**（2）**我们知道，估计的均方误差是估计的方差加上偏差的平方，即

$$E({\hat{\sigma }}^2-{\sigma }^2{)}^2=\mathrm{Var}({\hat{\sigma }}^2)+(E({\hat{\sigma }}^2)-{\sigma }^2{)}^2.$$

而

$$\mathrm{Var}\left(\sum _{i=1}^n(x_i-\bar{x}{)}^2\right)=2(n-1){\sigma }^4,$$

这给出

$$\mathrm{Var}({\hat{\sigma }}_1^2)=\frac{2{\sigma }^4}{n-1},\mathrm{Var}({\hat{\sigma }}_2^2)=\frac{2(n-1){\sigma }^4}{n^2},\mathrm{Var}({\hat{\sigma }}_3^2)=\frac{2(n-1){\sigma }^4}{(n+1{)}^2}.$$

于是

$$\mathrm{MSE}({\hat{\sigma }}_1^2)=\mathrm{Var}({\hat{\sigma }}_1^2)=\frac{2{\sigma }^4}{n-1},$$ $$\mathrm{MSE}({\hat{\sigma }}_2^2)=\frac{2(n-1)}{n^2}{\sigma }^4+{\left(\frac{n-1}{n}{\sigma }^2-{\sigma }^2\right)}^2=\frac{2n-1}{n^2}{\sigma }^4,$$ $$\mathrm{MSE}({\hat{\sigma }}_3^2)=\frac{2(n-1)}{(n+1{)}^2}{\sigma }^4+{\left(\frac{n-1}{n+1}{\sigma }^2-{\sigma }^2\right)}^2=\frac{2}{n+1}{\sigma }^4.$$

显然

$$\frac{2}{n-1}>\frac{2}{n+1},\frac{2n-1}{n^2}>\frac{2}{n+1}(n>1),$$

所以 ${\hat{\sigma }}_3^2$ 的均方误差最小。

注意，这里 ${\hat{\sigma }}_3^2$ 是 ${\sigma }^2$ 的有偏估计，上述结论表明，在均方误差意义下，有时有偏估计要比无偏估计更为优。

事实上，我们还可讨论 ${\sigma }^2$ 的估计类

$${\hat{\sigma }}_l^2=l\sum (x_i-\bar{x}{)}^2$$

中的均方误差的最小性问题。易知

$$\begin{array}{rl}\mathrm{MSE}({\hat{\sigma }}_l^2)& =(E({\hat{\sigma }}_l^2)-{\sigma }^2{)}^2+\mathrm{Var}({\hat{\sigma }}_l^2)\\ & =((n-1)l-1{)}^2{\sigma }^4+2(n-1)l^2{\sigma }^4.\end{array}$$

不难求出当

$$l=\frac{1}{n+1}$$

时，上式达到最小。所以，在形如 ${\hat{\sigma }}_l^2$ 的估计类中，上述 ${\hat{\sigma }}_3^2$ 均方误差最小。

补充习题 20

设 $x_1,x_2$ 独立同分布，其共同的密度函数为

$$p(x;\theta )=\frac{3x^2}{{\theta }^3},0<x<\theta ,\theta >0.$$

1. 证明：$T_1=\frac{2}{3}(x_1+x_2)$ 和 $T_2=\frac{7}{6}\max \{x_1,x_2\}$ 都是 $\theta$ 的无偏估计；
2. 计算 $T_1$ 和 $T_2$ 的均方误差并进行比较；
3. 证明：在均方误差意义下，在形如 $T_c=c\max \{x_1,x_2\}$ 的估计中，$T_{8/7}$ 最优。

解 **（1）**先计算总体均值为

$$E(X)={\int }_0^{\theta }x\cdot \frac{3x^2}{{\theta }^3}\mathrm{d}x=\frac{3}{4}\theta ,$$

故

$$E(T_1)=\frac{2}{3}\cdot 2E(X)=\theta ,$$

这说明 $T_1$ 是 $\theta$ 的无偏估计。又总体分布函数

$$F(x;\theta )={\int }_0^x\frac{3u^2}{{\theta }^3}\mathrm{d}u={\left(\frac{x}{\theta }\right)}^3,0<x<\theta ,$$

记

$$Y=\max \{x_1,x_2\},$$

则 $Y$ 的密度函数为

$$f(y;\theta )=2F(y;\theta )p(y;\theta )=\frac{6y^5}{{\theta }^6},0<y<\theta .$$

于是有

$$E(T_2)=\frac{7}{6}E(Y)=\frac{7}{6}{\int }_0^{\theta }y\cdot \frac{6y^5}{{\theta }^6}\mathrm{d}y=\frac{7}{6}\cdot \frac{6}{7}\theta =\theta .$$

这表明 $T_2$ 也是 $\theta$ 的无偏估计。

**（2）**无偏估计的方差就是均方误差。由于

$$E(x_1^2)={\int }_0^{\theta }{x}^2\cdot \frac{3x^2}{{\theta }^3}\mathrm{d}x=\frac{3}{5}{\theta }^2,$$ $$\mathrm{Var}(x_1)=E(x_1^2)-(E(x_1){)}^2=\frac{3}{5}{\theta }^2-{\left(\frac{3}{4}\theta \right)}^2=\frac{3}{80}{\theta }^2,$$

故有

$$\mathrm{MSE}(T_1)=\mathrm{Var}(T_1)=\frac{4}{9}\cdot 2\mathrm{Var}(x_1)=\frac{8}{9}\cdot \frac{3}{80}{\theta }^2=\frac{1}{30}{\theta }^2.$$

又

$$E(Y^2)={\int }_0^{\theta }{y}^2\cdot \frac{6y^5}{{\theta }^6}\mathrm{d}y=\frac{3}{4}{\theta }^2,$$ $$\mathrm{Var}(Y)=E(Y^2)-(E(Y){)}^2=\frac{3}{4}{\theta }^2-{\left(\frac{6}{7}\theta \right)}^2=\frac{3}{196}{\theta }^2,$$

从而

$$\mathrm{MSE}(T_2)=\mathrm{Var}(T_2)=\frac{49}{36}\cdot \frac{3}{196}{\theta }^2=\frac{1}{48}{\theta }^2.$$

由于 $\mathrm{MSE}(T_1)>\mathrm{MSE}(T_2)$，因此在均方误差意义下，$T_2$ 优于 $T_1$。

**（3）**对形如

$$T_c=c\max \{x_1,x_2\}$$

的估计有

$$E(T_c)=\frac{6}{7}c\theta ,E(T_c^2)=\frac{3}{4}{c}^2{\theta }^2,$$

故

$$\mathrm{MSE}(T_c)=E(T_c-\theta {)}^2=E(T_c^2)-2\theta E(T_c)+{\theta }^2=\left(\frac{3}{4}{c}^2-\frac{12}{7}c+1\right){\theta }^2.$$

因此当

$$c=\frac{12/7}{3/2}=\frac{8}{7}$$

时，上述均方误差最小。所以在均方误差意义下，在形如 $T_c=c\max \{x_1,x_2\}$ 的估计中，$T_{8/7}$ 最优。

§6.5 贝叶斯估计

1. 贝叶斯统计推断使用的三种信息
2. 总体信息，总体分布或总体所属分布族提供的信息；
3. 样本信息，从总体中抽取样本所得观测值提供的信息；
4. 先验信息，在试验前人们对要做的问题在经验上和资料上所了解的信息。
5. 贝叶斯统计的基本观点 任一未知量 $\theta$ 都可看作随机变量，用一个概率分布来描述 $\theta$ 是最好的办法，在获得样本以前这个分布称为先验分布；在获得样本以后，这个分布称为后验分布。
6. 贝叶斯公式的密度函数形式
7. 总体依赖于参数 $\theta$ 的概率函数在贝叶斯统计中记为 $p(x\mid \theta )$，它表示在随机变量 $\theta$ 取某个给定值时总体的条件概率函数；
8. 根据参数 $\theta$ 的先验信息设法确定先验分布 $\pi (\theta )$；
9. 从贝叶斯观点看，样本 $x_1,x_2,\cdots ,x_n$ 的产生分两步进行。首先从先验分布 $\pi (\theta )$ 产生一个样本 ${\theta }_0$，然后从 $p(x_1,x_2,\cdots ,x_n\mid {\theta }_0)$ 中产生一组样本。这时样本的联合条件概率函数为

$$p(x_1,x_2,\cdots ,x_n\mid {\theta }_0)=\prod _{i=1}^{n}p(x_i\mid {\theta }_0),$$

这个分布综合了总体信息和样本信息；

1. ${\theta }_0$ 是不可知的，它是按先验分布 $\pi (\theta )$ 产生的。为把先验信息综合进去，不能只考虑 ${\theta }_0$，对 $\theta$ 的其他值发生的可能性也要加以考虑，故要用 $\pi (\theta )$ 进行综合。这样一来，样本 $x_1,x_2,\cdots ,x_n$ 和参数 $\theta$ 的联合分布为

$$h(x_1,x_2,\cdots ,x_n,\theta )=p(x_1,x_2,\cdots ,x_n\mid \theta )\cdot \pi (\theta ),$$

这个联合分布把总体信息、样本信息和先验信息三种可用信息都综合进去了；

1. 分析的目的是要对未知参数 $\theta$ 作统计推断。在没有样本信息时，人们只能依据先验分布对 $\theta$ 作出推断；在有了样本观测值 $x_1,x_2,\cdots ,x_n$ 之后，则应依据 $h(x_1,x_2,\cdots ,x_n,\theta )$ 对 $\theta$ 作出推断。由于

$$h(x_1,x_2,\cdots ,x_n,\theta )=\pi (\theta \mid x_1,x_2,\cdots ,x_n)m(x_1,x_2,\cdots ,x_n),$$

其中

$$m(x_1,x_2,\cdots ,x_n)={\int }_{\Theta }h(x_1,x_2,\cdots ,x_n,\theta )\mathrm{d}\theta ={\int }_{\Theta }p(x_1,x_2,\cdots ,x_n\mid \theta )\pi (\theta )\mathrm{d}\theta$$

是 $x_1,x_2,\cdots,x_n$ 的边际概率函数，它与 $\theta$ 无关，不含 $\theta$ 的任何信息。因此能用来对 $\theta$ 作出推断的仅是条件分布 $\pi(\theta\mid x_1,x_2,\cdots,x_n)$，它的计算公式是

$$\pi (\theta \mid x_1,x_2,\cdots ,x_n)=\frac{h(x_1,x_2,\cdots ,x_n,\theta )}{m(x_1,x_2,\cdots ,x_n)}=\frac{p(x_1,x_2,\cdots ,x_n\mid \theta )\pi (\theta )}{{\int }_{\Theta }p(x_1,x_2,\cdots ,x_n\mid \theta )\pi (\theta )\mathrm{d}\theta }.$$

这个条件分布称为 $\theta$ 的后验分布，它集中了总体、样本和先验中有关 $\theta$ 的一切信息。后验分布 $\pi(\theta\mid x_1,x_2,\cdots,x_n)$ 的计算公式就是用密度函数表示的贝叶斯公式。它是用总体和样本对先验分布 $\pi(\theta)$ 作调整的结果，贝叶斯统计的一切推断都基于后验分布进行。

1. 贝叶斯估计 基于后验分布 $\pi (\theta \mid x_1,x_2,\cdots ,x_n)$ 对 $\theta$ 所作的贝叶斯估计有多种，常用有如下三种：
2. 使用后验分布的密度函数最大值作为 $\theta$ 的点估计，称为最大后验估计；
3. 使用后验分布的中位数作为 $\theta$ 的点估计，称为后验中位数估计；
4. 使用后验分布的均值作为 $\theta$ 的点估计，称为后验期望估计。这是使用最为频繁的贝叶斯估计。

在不注明的情况下，通常提到的贝叶斯估计指后验期望估计。

1. 共轭先验分布 设 $\theta$ 是总体分布中的参数，$\pi (\theta )$ 是其先验分布，若对任意的样本观测值得到的后验分布 $\pi (\theta \mid X)$ 与 $\pi (\theta )$ 属于同一个分布族，则称该分布族是 $\theta$ 的共轭先验分布（族）。
2. 二项分布 $b(n,\theta )$ 中的成功概率 $\theta$ 的共轭先验分布是贝塔分布 $Be(a,b)$；
3. 泊松分布 $P(\theta )$ 中的均值 $\theta$ 的共轭先验分布是伽马分布 $Ga(\alpha ,\lambda )$；
4. 在方差已知时，正态均值 $\theta$ 的共轭先验分布是正态分布 $N(\mu ,{\tau }^2)$；
5. 在均值已知时，正态方差 ${\sigma }^2$ 的共轭先验分布是倒伽马分布 $IGa(\alpha ,\lambda )$（若 $X\sim Ga(\alpha ,\lambda )$，则 $X^{-1}$ 的分布称为倒伽马分布 $IGa(\alpha ,\lambda )$）。
6. 超参数 先验分布中的未知参数称为超参数。应尽力对各种先验信息进行加工，获得超参数的估计。

习题与解答 6.5

习题 6.5-1

设一箱产品中的不合格品个数服从泊松分布 $P(\lambda )$，$\lambda$ 有两个可能取值：$1.5$ 和 $1.8$，且先验分布为

$$P(\lambda =1.5)=0.45,P(\lambda =1.8)=0.55,$$

现检查了一箱产品，发现有 $3$ 个不合格品，试求 $\lambda$ 的后验分布。

解

$$P(X=3\mid \lambda =1.5)=\frac{1.5^3}{3!}{e}^{-1.5},P(X=3\mid \lambda =1.8)=\frac{1.8^3}{3!}{e}^{-1.8},$$

因此

$$P(X=3)=P(X=3\mid \lambda =1.5)P(\lambda =1.5)+P(X=3\mid \lambda =1.8)P(\lambda =1.8)$$ $$=\frac{1.51875e^{-1.5}+3.2076e^{-1.8}}{6}.$$

由以上结果我们可以得到 $\lambda$ 的后验分布

$$P(\lambda =1.5\mid X=3)=\frac{P(X=3\mid \lambda =1.5)P(\lambda =1.5)}{P(X=3)}=\frac{1.51875e^{-1.5}}{1.51875e^{-1.5}+3.2076e^{-1.8}}=0.3899,$$ $$P(\lambda =1.8\mid X=3)=1-0.3899=\mathrm{0.6101.}$$

习题 6.5-2

设总体为均匀分布 $U(\theta ,\theta +1)$，$\theta$ 的先验分布是均匀分布 $U(10,16)$。现有三个观测值：$11.7,12.1,12.0$。求 $\theta$ 的后验分布。

解 当 $\theta <x_i<\theta +1$，$i=1,2,3$，$10<\theta <16$，即

$$10<\theta <x_{(1)}<x_{(3)}<\theta +1$$

时，$x_1,x_2,x_3,\theta$ 的联合分布为

$$h(x_1,x_2,x_3,\theta )=p(x_1,x_2,x_3\mid \theta )\pi (\theta )=\frac{1}{6},$$

其中 $\theta <x_{(1)}<x_{(3)}<\theta +1$ 或 $x_{(3)}-1<\theta <x_{(1)}$。此处观测值为 $x_{(1)}=11.7$，$x_{(3)}=12.1$，

$$11.1<\theta <11.7,$$

它位于区间 $(10,16)$ 内，故后验密度函数为

$$\pi (\theta \mid x_1,x_2,x_3)=\frac{h(x_1,x_2,x_3,\theta )}{{\int }_{11.1}^{11.7}h(x_1,x_2,x_3,\theta )\mathrm{d}\theta }=\frac{1/6}{{\int }_{11.1}^{11.7}(1/6)\mathrm{d}\theta }=\frac{1}{0.6},$$

即 $\theta$ 的后验分布为

$$U(11.1,11.7).$$

习题 6.5-3

设 $x_1,x_2,\cdots ,x_n$ 是来自几何分布的样本，总体分布列为

$$P(X=k\mid \theta )=\theta (1-\theta {)}^k,k=0,1,2,\cdots ,$$

$\theta$ 的先验分布是均匀分布 $U(0,1)$。

1. 求 $\theta$ 的后验分布；
2. 若 $4$ 次观测值为 $4,3,1,6$，求 $\theta$ 的贝叶斯估计。

解 **（1）**样本和 $\theta$ 的联合密度函数为

$$h(x_1,x_2,\cdots ,x_n,\theta )={\theta }^n(1-\theta {)}^{{\sum }_{i=1}^n{x}_i},$$

于是

$$\pi (\theta \mid x_1,x_2,\cdots ,x_n)=\frac{h(x_1,x_2,\cdots ,x_n,\theta )}{{\int }_0^{1}h(x_1,x_2,\cdots ,x_n,\theta )\mathrm{d}\theta }=\frac{{\theta }^n(1-\theta {)}^{{\sum }_{i=1}^n{x}_i}}{{\int }_0^1{\theta }^n(1-\theta {)}^{{\sum }_{i=1}^n{x}_i}\mathrm{d}\theta }$$ $$=\frac{\Gamma \left(n+{\sum }_{i=1}^n{x}_i+2\right)}{\Gamma (n+1)\Gamma \left({\sum }_{i=1}^n{x}_i+1\right)}{\theta }^n(1-\theta {)}^{{\sum }_{i=1}^n{x}_i},$$

因此，$\theta$ 的后验分布为

$$Be\left(n+1,\sum _{i=1}^n{x}_i+1\right).$$

**（2）**当有观测值为 $4,3,1,6$ 时，$\theta$ 的后验分布为

$$Be(5,15),$$

采用后验期望估计，则有

$${\hat{\theta }}_B=\frac{5}{5+15}=\mathrm{0.25.}$$

习题 6.5-4

验证：泊松分布的均值 $\lambda$ 的共轭先验分布是伽马分布。

解 泊松分布的概率函数为

$$P(X=x\mid \lambda )=\frac{{\lambda }^x}{x!}{e}^{-\lambda },$$

若 $\lambda$ 的先验分布为伽马分布 $Ga(\alpha ,\beta )$，其密度函数为

$$\pi (\lambda )=\frac{{\beta }^{\alpha }}{\Gamma (\alpha )}{\lambda }^{\alpha -1}{e}^{-\beta \lambda },$$

对来自泊松分布 $P(\lambda )$ 的样本 $x_1,x_2,\cdots ,x_n$，$\lambda$ 的后验分布为

$$\pi (\lambda \mid x_1,x_2,\cdots ,x_n)=\frac{\left({\prod }_{i=1}^n\frac{{\lambda }^{x_i}}{x_i!}{e}^{-\lambda }\right)\cdot \frac{{\beta }^{\alpha }}{\Gamma (\alpha )}{\lambda }^{\alpha -1}{e}^{-\beta \lambda }}{{\int }_0^{\infty }\left({\prod }_{i=1}^n\frac{{\lambda }^{x_i}}{x_i!}{e}^{-\lambda }\right)\cdot \frac{{\beta }^{\alpha }}{\Gamma (\alpha )}{\lambda }^{\alpha -1}{e}^{-\beta \lambda }\mathrm{d}\lambda }$$ $$=\frac{{\lambda }^{{\sum }_{i=1}^n{x}_i+\alpha -1}{e}^{-(\beta +n)\lambda }}{{\int }_0^{\infty }{\lambda }^{{\sum }_{i=1}^n{x}_i+\alpha -1}{e}^{-(\beta +n)\lambda }\mathrm{d}\lambda }$$ $$=\frac{(\beta +n{)}^{{\sum }_{i=1}^n{x}_i+\alpha }}{\Gamma \left({\sum }_{i=1}^n{x}_i+\alpha \right)}{\lambda }^{{\sum }_{i=1}^n{x}_i+\alpha -1}{e}^{-(\beta +n)\lambda },$$

即 $\lambda$ 的后验分布为

$$Ga\left(\sum _{i=1}^n{x}_i+\alpha ,\beta +n\right),$$

仍为伽马分布，这说明伽马分布是泊松分布的均值 $\lambda$ 的共轭先验分布。

习题 6.5-5

验证：正态总体方差（均值已知）的共轭先验分布是倒伽马分布（称 $X$ 服从倒伽马分布，如果 $1/x$ 服从伽马分布）。

解 设总体 $X\mid {\sigma }^2\sim N({\mu }_0,{\sigma }^2)$，其中 ${\mu }_0$ 已知，$x_1,x_2,\cdots ,x_n$ 为其样本，取 ${\sigma }^2$ 的先验分布为倒伽马分布 $IGa(\alpha ,\lambda )$，其密度函数为

$$\pi ({\sigma }^2)=\frac{{\lambda }^{\alpha }}{\Gamma (\alpha )}{\left(\frac{1}{{\sigma }^2}\right)}^{\alpha +1}{e}^{-\lambda /{\sigma }^2},{\sigma }^2>0,$$

则 ${\sigma }^2$ 的后验分布为

$$\pi ({\sigma }^2\mid x_1,x_2,\cdots ,x_n)=\frac{p(x_1,x_2,\cdots ,x_n\mid {\sigma }^2)\cdot \pi ({\sigma }^2)}{{\int }_0^{\infty }p(x_1,x_2,\cdots ,x_n\mid {\sigma }^2)\cdot \pi ({\sigma }^2)\mathrm{d}{\sigma }^2}$$ $$=\frac{(2\pi {\sigma }^2{)}^{-n/2}\exp \left\{-\frac{1}{2{\sigma }^2}{\sum }_{i=1}^n(x_i-{\mu }_0{)}^2\right\}\cdot \frac{{\lambda }^{\alpha }}{\Gamma (\alpha )}{\left(\frac{1}{{\sigma }^2}\right)}^{\alpha +1}{e}^{-\lambda /{\sigma }^2}}{{\int }_0^{\infty }(2\pi {\sigma }^2{)}^{-n/2}\exp \left\{-\frac{1}{2{\sigma }^2}{\sum }_{i=1}^n(x_i-{\mu }_0{)}^2\right\}\cdot \frac{{\lambda }^{\alpha }}{\Gamma (\alpha )}{\left(\frac{1}{{\sigma }^2}\right)}^{\alpha +1}{e}^{-\lambda /{\sigma }^2}\mathrm{d}{\sigma }^2}$$ $$=\frac{{\left(\frac{1}{{\sigma }^2}\right)}^{\alpha +\frac{n}{2}+1}\exp \left\{-\frac{1}{{\sigma }^2}\left[\lambda +\frac{1}{2}{\sum }_{i=1}^n(x_i-{\mu }_0{)}^2\right]\right\}}{{\int }_0^{\infty }{\left(\frac{1}{{\sigma }^2}\right)}^{\alpha +\frac{n}{2}+1}\exp \left\{-\frac{1}{{\sigma }^2}\left[\lambda +\frac{1}{2}{\sum }_{i=1}^n(x_i-{\mu }_0{)}^2\right]\right\}\mathrm{d}{\sigma }^2}$$ $$=\frac{{\left[\lambda +\frac{1}{2}{\sum }_{i=1}^n(x_i-{\mu }_0{)}^2\right]}^{\alpha +\frac{n}{2}}}{\Gamma \left(\alpha +\frac{n}{2}\right)}{\left(\frac{1}{{\sigma }^2}\right)}^{\alpha +\frac{n}{2}+1}\exp \left\{-\frac{1}{{\sigma }^2}\left[\lambda +\frac{1}{2}\sum _{i=1}^n(x_i-{\mu }_0{)}^2\right]\right\},$$

即

$${\sigma }^2\mid x_1,x_2,\cdots ,x_n\sim IGa\left(\alpha +\frac{n}{2},\lambda +\frac{1}{2}\sum _{i=1}^n(x_i-{\mu }_0{)}^2\right),$$

这就证明了倒伽马分布是正态总体方差（均值已知）的共轭先验分布。

习题 6.5-6

设 $x_1,x_2,\cdots ,x_n$ 是来自如下总体的一个样本

$$p(x\mid \theta )=\frac{2x}{{\theta }^2},0<x<\theta .$$

1. 若 $\theta$ 的先验分布为均匀分布 $U(0,1)$，求 $\theta$ 的后验分布；
2. 若 $\theta$ 的先验分布为 $\pi (\theta )=3{\theta }^2$，$0<\theta <1$，求 $\theta$ 的后验分布。

解 $x_1,x_2,\cdots ,x_n$ 的联合密度函数为

$$p(x_1,x_2,\cdots ,x_n\mid \theta )=\frac{2^n}{{\theta }^{2n}}\prod _{i=1}^n{x}_i{I}_{\{x_{(n)}<\theta \}}.$$

**（1）**对先验分布 $U(0,1)$，当 $x_{(n)}<\theta <1$ 时，后验分布为

$$\pi (\theta \mid x_1,x_2,\cdots ,x_n)=\frac{{\theta }^{-2n}}{{\int }_{x_{(n)}}^1{\theta }^{-2n}\mathrm{d}\theta }=\frac{2n-1}{{\theta }^{2n}(x_{(n)}^{-2n+1}-1)}.$$

**（2）**对该先验分布，当 $x_{(n)}<\theta <1$ 时，后验分布为

$$\pi (\theta \mid x_1,x_2,\cdots ,x_n)=\frac{{\theta }^{-2n+2}}{{\int }_{x_{(n)}}^1{\theta }^{-2n+2}\mathrm{d}\theta }=\frac{2n-3}{{\theta }^{2n-2}(x_{(n)}^{-2n+3}-1)}.$$

习题 6.5-7

设 $x_1,x_2,\cdots ,x_n$ 是来自如下总体的一个样本

$$p(x\mid \theta )=\theta x^{\theta -1},0<x<1.$$

若取 $\theta$ 的先验分布为伽马分布，即 $\theta \sim Ga(\alpha ,\lambda )$，求 $\theta$ 的后验期望估计。

解 $x_1,x_2,\cdots ,x_n$ 与 $\theta$ 的联合分布为

$$\begin{array}{rl}h(x_1,x_2,\cdots ,x_n,\theta )& ={\theta }^n\prod _{i=1}^n{x}_i^{\theta -1}\cdot \frac{{\lambda }^{\alpha }}{\Gamma (\alpha )}{\theta }^{\alpha -1}{e}^{-\lambda \theta }\\ & =\frac{{\lambda }^{\alpha }}{\Gamma (\alpha )}{\theta }^{n+\alpha -1}\exp \left\{-\theta \left(\lambda -\sum _{i=1}^n\ln x_i\right)\right\}\prod _{i=1}^n{x}_i^{-1}.\end{array}$$

于是 $\theta$ 的后验分布为

$$\pi (\theta \mid x_1,x_2,\cdots ,x_n)=\frac{h(x_1,x_2,\cdots ,x_n,\theta )}{\int h(x_1,x_2,\cdots ,x_n,\theta )\mathrm{d}\theta }$$ $$=\frac{{\left(\lambda -{\sum }_{i=1}^n\ln x_i\right)}^{n+\alpha }}{\Gamma (n+\alpha )}{\theta }^{n+\alpha -1}\exp \left\{-\theta \left(\lambda -\sum _{i=1}^n\ln x_i\right)\right\},$$

这是一个伽马分布

$$Ga\left(n+\alpha ,\lambda -\sum _{i=1}^n\ln x_i\right),$$

因而 $\theta$ 的后验期望估计为

$${\hat{\theta }}_B=\frac{n+\alpha }{\lambda -{\sum }_{i=1}^n\ln x_i}.$$

习题 6.5-8

设 $x_1,x_2,\cdots ,x_n$ 是来自均匀分布 $U(0,\theta )$ 的样本，$\theta$ 的先验分布是帕雷托分布，其密度函数为

$$\pi (\theta )=\frac{\beta {\theta }_0^{\beta }}{{\theta }^{\beta +1}},\theta >{\theta }_0,$$

其中 $\beta ,{\theta }_0$ 是两个已知的常数。

1. 验证：帕雷托分布是 $\theta$ 的共轭先验分布；
2. 求 $\theta$ 的贝叶斯估计。

解 （1）$x_1,x_2,\cdots ,x_n$ 与 $\theta$ 的联合分布为

$$h(x_1,x_2,\cdots ,x_n,\theta )=\frac{1}{{\theta }^n}\cdot \frac{\beta {\theta }_0^{\beta }}{{\theta }^{\beta +1}},\theta >{\theta }_0,x_{(n)}<\theta .$$

要使 $\theta >{\theta }_0$ 与 $\theta >x_{(n)}$ 同时成立，必须 $\theta >\max \{x_{(n)},{\theta }_0\}$，所以 $\theta$ 的后验分布为

$$\pi (\theta \mid x_1,x_2,\cdots ,x_n)=\frac{\frac{1}{{\theta }^n}\cdot \frac{\beta {\theta }_0^{\beta }}{{\theta }^{\beta +1}}}{{\int }_{\max \{x_{(n)},{\theta }_0\}}^{\infty }\frac{1}{{\theta }^n}\cdot \frac{\beta {\theta }_0^{\beta }}{{\theta }^{\beta +1}}\mathrm{d}\theta }=\frac{\frac{1}{{\theta }^{n+\beta +1}}}{{\int }_{\max \{x_{(n)},{\theta }_0\}}^{\infty }\frac{1}{{\theta }^{n+\beta +1}}\mathrm{d}\theta }$$ $$=\frac{(n+\beta )[\max \{x_{(n)},{\theta }_0\}{]}^{n+\beta }}{{\theta }^{n+\beta +1}},\theta >\max \{x_{(n)},{\theta }_0\}.$$

这是一个参数为 $n+\beta +1$ 与 $\max \{x_{(n)},{\theta }_0\}$ 的帕雷托分布，因此帕雷托分布是 $\theta$ 的共轭先验分布。

**（2）**若选用后验期望估计，则

$${\hat{\theta }}_B=\int \theta \cdot \pi (\theta \mid x_1,x_2,\cdots ,x_n)\mathrm{d}\theta ={\int }_{\max \{x_{(n)},{\theta }_0\}}^{\infty }\frac{(n+\beta )[\max \{x_{(n)},{\theta }_0\}{]}^{n+\beta }}{{\theta }^{n+\beta }}\mathrm{d}\theta$$ $$=\frac{(n+\beta )\max \{x_{(n)},{\theta }_0\}}{n+\beta -1}.$$

习题 6.5-9

设指数分布 $Exp(\theta )$ 中未知参数 $\theta$ 的先验分布为伽马分布 $Ga(\alpha ,\lambda )$，现从先验信息得知：先验均值为 $0.0002$，先验标准差为 $0.01$，试确定先验分布。

解 由于伽马分布 $Ga(\alpha ,\lambda )$ 的均值和方差分别为 $\alpha /\lambda ,\alpha /{\lambda }^2$，由已知条件，可建立如下方程组

$$\{\begin{array}{l}\frac{\alpha }{\lambda }=0.0002,\\ \sqrt{\frac{\alpha }{{\lambda }^2}}=0.01,\end{array}$$

解之得

$$\{\begin{array}{l}\alpha =0.0004,\\ \lambda =2,\end{array}$$

所以 $\theta$ 的先验分布为伽马分布 $Ga(0.0004,2)$。

习题 6.5-10

设 $x_1,x_2,\cdots ,x_n$ 为来自如下幂级数分布的样本，总体分布密度为

$$p(x;c,\theta )=c{x}^{c-1}{\theta }^{-c}{I}_{\{0\le x\le \theta \}}(c>0,\theta >0),$$

证明：

1. 若 $c$ 已知，则 $\theta$ 的共轭先验分布为帕雷托分布；
2. 若 $\theta$ 已知，则 $c$ 的共轭先验分布为伽马分布。

解 **（1）**当 $c$ 已知时，不妨取

$$\pi (\theta )=\alpha {\mu }^{\alpha }{\theta }^{-(\alpha +1)}{I}_{\{\theta \ge \mu \}},$$

其中 $\alpha \ge 1$ 和 $\mu >0$ 都已知，常记为 $PA(\alpha ,\mu )$。则在给出样本 $x=(x_1,x_2,\cdots ,x_n)$ 后 $\theta$ 的后验分布密度函数为

$$\pi (\theta \mid x)=\frac{p(x\mid \theta )\pi (\theta )}{{\int }_0^{\infty }p(x\mid \theta )\pi (\theta )\mathrm{d}\theta }$$ $$=\frac{c^n{\left({\prod }_{i=1}^n{x}_i\right)}^{c-1}{\theta }^{-nc}{I}_{\{\theta \ge x_{(n)}\}}\cdot \alpha {\mu }^{\alpha }{\theta }^{-(1+\alpha )}{I}_{\{\theta \ge \mu \}}}{{\int }_0^{\infty }{c}^n{\left({\prod }_{i=1}^n{x}_i\right)}^{c-1}{\theta }^{-nc}{I}_{\{\theta \ge x_{(n)}\}}\cdot \alpha {\mu }^{\alpha }{\theta }^{-(1+\alpha )}{I}_{\{\theta \ge \mu \}}\mathrm{d}\theta }$$ $$=\frac{{\theta }^{-nc}\cdot {\theta }^{-(1+\alpha )}{I}_{\{\theta \ge {\theta }_0\}}}{{\int }_0^{\infty }{\theta }^{-nc}\cdot {\theta }^{-(1+\alpha )}\mathrm{d}\theta }=(nc+\alpha ){\theta }_0^{nc+\alpha }{\theta }^{-(nc+\alpha +1)}{I}_{\{\theta \ge {\theta }_0\}},$$

其中

$${\theta }_0=\max \{x_{(n)},\mu \}.$$

因此，

$$\pi (\theta \mid x)\sim PA(nc+\alpha ,{\theta }_0),$$

所以当 $c$ 已知时帕雷托分布为 $\theta$ 的共轭先验分布。

**（2）**当 $\theta$ 已知时，不妨取

$$\pi (c)=\frac{{\lambda }^{\alpha }}{\Gamma (\alpha )}{e}^{-\lambda c}{c}^{\alpha -1}{I}_{\{c>0\}},$$

其中 $\alpha >0,\lambda >0$ 都已知。则给出样本

$$x=(x_1,x_2,\cdots ,x_n)$$

后 $c$ 的后验分布密度函数

$$\pi (c\mid x)=\frac{p(x\mid c)\pi (c)}{{\int }_0^{\infty }p(x\mid c)\pi (c)\mathrm{d}c}$$ $$=\frac{c^n{\left({\prod }_{i=1}^n{x}_i\right)}^{c-1}{\theta }^{-nc}\cdot e^{-\lambda c}{c}^{\alpha -1}}{{\int }_0^{\infty }{c}^n{\left({\prod }_{i=1}^n{x}_i\right)}^{c-1}{\theta }^{-nc}\cdot e^{-\lambda c}{c}^{\alpha -1}\mathrm{d}c}$$ $$=\frac{{\left(\lambda -{\sum }_{i=1}^n(\ln x_i-\ln \theta )\right)}^{n+\alpha }}{\Gamma (n+\alpha )}{c}^{n+\alpha -1}\exp \left\{-c\left[\lambda -\sum _{i=1}^n(\ln x_i-\ln \theta )\right]\right\}.$$

这说明

$$c\mid x\sim Ga\left(n+\alpha ,\lambda -\sum _{i=1}^n(\ln x_i-\ln \theta )\right),$$

证明完成。

习题 6.5-11

某人每天早上在汽车站等公共汽车的时间（单位：$\min$）服从均匀分布 $U(0,\theta )$，其中 $\theta$ 未知，假设 $\theta$ 的先验分布为

$$\pi (\theta )=\{\begin{array}{ll}192/{\theta }^4,& \theta \ge 4,\\ 0,& \theta <4,\end{array}$$

假如此人在三个早上等车的时间分别为 $5\min ,3\min ,8\min$，求 $\theta$ 的后验分布。

解 $x_1,x_2,\cdots ,x_n$ 与 $\theta$ 的联合分布为

$$h(x_1,x_2,\cdots ,x_n,\theta )={\theta }^{-n}\frac{192}{{\theta }^4},0<x_{(1)}<x_{(n)}<\theta ,\theta \ge 4,$$

此处 $x_{(1)}=3,x_{(3)}=8$，所以 $x_1,x_2,x_3$ 与 $\theta$ 的联合分布为

$$h(x_1,x_2,x_3,\theta )=192{\theta }^{-3-4},\theta >8,$$

于是 $\theta$ 的后验分布为

$$\pi (\theta \mid x_1,x_2,x_3)=\frac{192{\theta }^{-3-4}}{{\int }_8^{\infty }192{\theta }^{-3-4}\mathrm{d}\theta }=6\times 8^6{\theta }^{-7}=1572864{\theta }^{-7},\theta >8.$$

习题 6.5-12

从正态总体 $N(\theta ,2^2)$ 中随机抽取容量为 $100$ 的样本，又设 $\theta$ 的先验分布为正态分布，证明：不管先验分布的标准差为多少，后验分布的标准差一定小于 $1/5$。

解 设 $\theta$ 的先验分布为 $N(\mu ,{\tau }^2)$，由其共轭先验可知，$\theta$ 的后验分布仍为正态分布

$$N(a,{\sigma }^2),$$

其中

$$a=\frac{n\bar{x}/4+\mu {\tau }^{-2}}{n/4+{\tau }^{-2}},{\sigma }^2=\frac{1}{n/4+{\tau }^{-2}}.$$

由于 $n=100$，所以

$${\sigma }^2=\frac{1}{25+{\tau }^{-2}}<\frac{1}{25},$$

故，不管先验分布的标准差为多少，后验分布的标准差一定小于 $1/5$。

习题 6.5-13

设随机变量 $X$ 服从负二项分布，其概率分布为

$$f(x\mid p)=\left(\genfrac{}{}{0ex}{}{x-1}{k-1}\right)p^k(1-p{)}^{x-k},x=k,k+1,\cdots .$$

证明其成功概率 $p$ 的共轭先验分布族为贝塔分布族。

解 取成功概率 $p$ 的先验分布为 $Be(a,b)$，$a>0,b>0$，则 $x_1,x_2,\cdots ,x_n$ 与 $p$ 的联合分布为

$$h(x_1,x_2,\cdots ,x_n;p)=\prod _{i=1}^n\left(\genfrac{}{}{0ex}{}{x_i-1}{k-1}\right)p^{nk}(1-p{)}^{{\sum }_{i=1}^n{x}_i-nk}\frac{\Gamma (a+b)}{\Gamma (a)\Gamma (b)}{p}^{a-1}(1-p{)}^{b-1},$$

所以，

$$m(x_1,x_2,\cdots ,x_n)={\int }_0^{1}h(x_1,x_2,\cdots ,x_n;p)\mathrm{d}p$$ $$=\prod _{i=1}^n\left(\genfrac{}{}{0ex}{}{x_i-1}{k-1}\right)\frac{\Gamma (a+b)}{\Gamma (a)\Gamma (b)}\frac{\Gamma (nk+a)\Gamma \left({\sum }_{i=1}^n{x}_i-nk+b\right)}{\Gamma \left({\sum }_{i=1}^n{x}_i+a+b\right)},$$ $$\pi (p\mid x_1,x_2,\cdots ,x_n)=\frac{h(x_1,x_2,\cdots ,x_n;p)}{m(x_1,x_2,\cdots ,x_n)}$$ $$=\frac{\Gamma \left({\sum }_{i=1}^n{x}_i+a+b\right)}{\Gamma (nk+a)\Gamma \left({\sum }_{i=1}^n{x}_i-nk+b\right)}{p}^{nk+a-1}(1-p{)}^{{\sum }_{i=1}^n{x}_i-nk+b-1}.$$

即成功概率 $p$ 的后验分布为

$$Be\left(nk+a,\sum _{i=1}^n{x}_i-nk+b\right),$$

故成功概率 $p$ 的共轭先验分布族为贝塔分布族。

习题 6.5-14

从一批产品中抽检 $100$ 个，发现 $3$ 个不合格，假定该产品不合格品率 $\theta$ 的先验分布为贝塔分布 $Be(2,200)$，求 $\theta$ 的后验分布。

解 根据不合格品率 $\theta$ 的共轭先验可知，$\theta$ 的后验分布为

$$Be(x+2,n-x+200).$$

这里 $n=100$，$x=3$，所以，$\theta$ 的后验分布为 $\mathrm{Be}(5,297)$。

补充习题及解答

补充习题 15

设 $x=(x_1,x_2,\dots ,x_k)$ 服从多项分布 $M(n,\theta )$，其概率函数为

$$p(x;\theta )=\frac{n!}{x_1!x_2!\cdots x_k!}{\theta }_1^{x_1}{\theta }_2^{x_2}\cdots {\theta }_k^{x_k},$$

其中 $\theta =({\theta }_1,{\theta }_2,\dots ,{\theta }_k)$ 为参数，${\sum }_{i=1}^k{\theta }_i=1$，${\sum }_{i=1}^k{x}_i=n$。若 $\theta =({\theta }_1,{\theta }_2,\dots ,{\theta }_k)$ 的先验分布为狄利克雷（Dirichlet）分布，即

$$\pi (\theta )=\frac{\Gamma ({\alpha }_0)}{{\prod }_{i=1}^k\Gamma ({\alpha }_i)}\prod _{i=1}^k{\theta }_i^{{\alpha }_i-1},(0\le {\theta }_i\le 1,1\le i\le k),$$

其中 ${\alpha }_i>0$，$i=1,2,\dots ,k$；${\sum }_{i=1}^k{\alpha }_i={\alpha }_0$，记 $\alpha =({\alpha }_1,{\alpha }_2,\dots ,{\alpha }_k)$，并把这一分布记作 $D(\alpha )$。证明：$\theta$ 的后验分布为狄利克雷分布 $D(\alpha +x)$。

解 因为 $\theta$ 的后验概率函数为

$$\pi (\theta \mid x)=c(x)\cdot \frac{n!}{x_1!x_2!\cdots x_k!}\prod _{i=1}^k{\theta }_i^{x_i}\cdot \frac{\Gamma ({\alpha }_0)}{{\prod }_{i=1}^k\Gamma ({\alpha }_i)}\prod _{i=1}^k{\theta }_i^{{\alpha }_i-1}=c^{\ast }(x)\prod _{i=1}^k{\theta }_i^{{\alpha }_i+x_i-1},$$

所以 $\theta$ 的后验分布服从 Dirichlet 分布 $D(\alpha +x)$，其中

$$\alpha +x=({\alpha }_1+x_1,{\alpha }_2+x_2,\dots ,{\alpha }_k+x_k).$$

补充习题 16

设 $x_1,x_2,\dots ,x_n$ 是来自正态分布 $N({\theta }_1,{\sigma }^2)$ 的一个样本，令 ${\theta }_2=\frac{1}{2{\sigma }^2}$，又设 $({\theta }_1,{\theta }_2)$ 的联合先验分布如下给定：${\theta }_2\sim Ga(\alpha ,\lambda )$，在固定 ${\theta }_2$ 时，${\theta }_1$ 的条件分布为

$$N\left(0,\frac{1}{2{\theta }_2}\right),$$

其中 $\alpha ,\lambda$ 已知。

求：

(1) $({\theta }_1,{\theta }_2)$ 的后验分布为 $\pi ({\theta }_1,{\theta }_2\mid x_1,x_2,\dots ,x_n)$；

(2) ${\theta }_2$ 的后验边际分布；

(3) ${\theta }_2$ 给定条件下 ${\theta }_1$ 的后验边际分布。

解 (1) $({\theta }_1,{\theta }_2)$ 的先验分布为

$$\begin{array}{rl}\pi ({\theta }_1,{\theta }_2)& =\pi ({\theta }_1\mid {\theta }_2)\pi ({\theta }_2)\\ & =\frac{\sqrt{2{\theta }_2}}{\sqrt{2\pi }}\exp \{-{\theta }_2{\theta }_1^2\}\cdot \frac{{\lambda }^{\alpha }}{\Gamma (\alpha )}{\theta }_2^{\alpha -1}\exp \{-\lambda {\theta }_2\}\\ & =\frac{1}{\sqrt{\pi }}\frac{{\lambda }^{\alpha }}{\Gamma (\alpha )}{\theta }_2^{\alpha +\frac{1}{2}-1}\exp \{-(\lambda +{\theta }_1^2){\theta }_2\}.\end{array}$$

$x_1,x_2,\dots ,x_n$ 与 $({\theta }_1,{\theta }_2)$ 的联合分布为

$$\begin{array}{rl}h(x_1,x_2,\dots ,x_n;{\theta }_1,{\theta }_2)& =p(x_1,x_2,\dots ,x_n\mid {\theta }_1,{\theta }_2)\pi ({\theta }_1,{\theta }_2)\\ & ={\left(\frac{\sqrt{{\theta }_2}}{\sqrt{\pi }}\right)}^n\exp \left\{-{\theta }_2\sum _{i=1}^n(x_i-{\theta }_1{)}^2\right\}\cdot \frac{1}{\sqrt{\pi }}\frac{{\lambda }^{\alpha }}{\Gamma (\alpha )}{\theta }_2^{\alpha +\frac{1}{2}-1}\exp \{-(\lambda +{\theta }_1^2){\theta }_2\}\\ & ={\left(\frac{1}{\sqrt{\pi }}\right)}^{n+1}\frac{{\lambda }^{\alpha }}{\Gamma (\alpha )}{\theta }_2^{\alpha +\frac{1+n}{2}-1}\exp \left\{-\left[(n+1){\theta }_1^2-2{\theta }_1\sum _{i=1}^n{x}_i+\lambda +\sum _{i=1}^n{x}_i^2\right]{\theta }_2\right\}.\end{array}$$

所以，$({\theta }_1,{\theta }_2)$ 的后验分布为

$$\pi ({\theta }_1,{\theta }_2\mid x_1,x_2,\dots ,x_n)=c(x_1,x_2,\dots ,x_n){\theta }_2^{\alpha +\frac{1+n}{2}-1}\exp \left\{-\left[(n+1){\theta }_1^2-2{\theta }_1\sum _{i=1}^n{x}_i+\lambda +\sum _{i=1}^n{x}_i^2\right]{\theta }_2\right\}.$$

(2) 对 $\pi ({\theta }_1,{\theta }_2\mid x_1,x_2,\dots ,x_n)$ 关于 ${\theta }_1$ 求积分，则

$$\begin{array}{rl}\pi ({\theta }_2\mid x_1,x_2,\dots ,x_n)& =c(x_1,x_2,\dots ,x_n){\theta }_2^{\alpha +\frac{1+n}{2}-1}\exp \left\{-\left(\lambda +\sum _{i=1}^n{x}_i^2\right){\theta }_2\right\}\\ & \times {\int }_{-\infty }^{\infty }\exp \left\{-\left[(n+1){\theta }_1^2-2{\theta }_1\sum _{i=1}^n{x}_i\right]{\theta }_2\right\}d{\theta }_1\\ & =c_1(x_1,x_2,\dots ,x_n){\theta }_2^{\alpha +\frac{n}{2}-1}\exp \left\{-\left(\lambda +\sum _{i=1}^n{x}_i^2-\frac{(n\bar{x}{)}^2}{n+1}\right){\theta }_2\right\}.\end{array}$$

据此可知，

$${\theta }_2\mid x_1,x_2,\dots ,x_n\sim Ga\left(\alpha +\frac{n}{2},\lambda +\sum _{i=1}^n{x}_i^2-\frac{(n\bar{x}{)}^2}{n+1}\right).$$

(3) 由

$$\pi ({\theta }_1\mid {\theta }_2,x_1,x_2,\dots ,x_n)=\frac{\pi ({\theta }_1,{\theta }_2\mid x_1,x_2,\dots ,x_n)}{\pi ({\theta }_2\mid x_1,x_2,\dots ,x_n)}$$

可得，

$$\pi ({\theta }_1\mid {\theta }_2,x_1,x_2,\dots ,x_n)=c_2(x_1,x_2,\dots ,x_n)\exp \left\{-{\theta }_2(n+1){\left({\theta }_1-\frac{n\bar{x}}{n+1}\right)}^2\right\}.$$

据此可知，

$${\theta }_1\mid {\theta }_2,x_1,x_2,\dots ,x_n\sim N\left(\frac{n\bar{x}}{n+1},\frac{1}{2{\theta }_2(n+1)}\right).$$

这说明该先验分布为 $({\theta }_1,{\theta }_2)$ 的共轭先验分布。

§6.6 区间估计

1. 置信区间 设 $\theta$ 是总体的一个参数，其参数空间为 $\Theta$，$x_1,x_2,\dots ,x_n$ 是来自该总体的样本，对给定的一个 $\alpha (0<\alpha <1)$，若有两个统计量

$${\hat{\theta }}_L={\hat{\theta }}_L(x_1,x_2,\dots ,x_n),{\hat{\theta }}_U={\hat{\theta }}_U(x_1,x_2,\dots ,x_n),$$

使得对任意的 $\theta \in \Theta$，有

$$P_{\theta }({\hat{\theta }}_L\le \theta \le {\hat{\theta }}_U)\ge 1-\alpha ,$$

则称随机区间 $[{\hat{\theta }}_L,{\hat{\theta }}_U]$ 是 $\theta$ 的置信水平为 $1-\alpha$ 的置信区间，或简称 $[{\hat{\theta }}_L,{\hat{\theta }}_U]$ 是 $\theta$ 的 $1-\alpha$ 置信区间；${\hat{\theta }}_L$ 和 ${\hat{\theta }}_U$ 分别称为 $\theta$ 的（双侧）置信下限和置信上限。

这里置信水平 $1-\alpha$ 的含义是指在大量使用该置信区间时，大约有不少于 $100(1-\alpha )\%$ 的区间包含 $\theta$。

2. 同等置信区间 在上述记号下，若对给定的 $\alpha (0<\alpha <1)$，对任意的 $\theta \in \Theta$，有

$$P_{\theta }({\hat{\theta }}_L\le \theta \le {\hat{\theta }}_U)=1-\alpha ,$$

则称 $[{\hat{\theta }}_L,{\hat{\theta }}_U]$ 为 $\theta$ 的 $1-\alpha$ 同等置信区间。

同等置信区间是把给定的置信水平 $1-\alpha$ 用足了。常在总体为连续分布场合下可以实现。

3. 置信限 在上述记号下，若对给定的 $\alpha (0<\alpha <1)$ 和任意的 $\theta \in \Theta$，有

$$P_{\theta }({\hat{\theta }}_L\le \theta )\ge 1-\alpha ,\forall \theta \in \Theta ,$$

则称 ${\hat{\theta }}_L$ 是 $\theta$ 的置信水平为 $1-\alpha$ 的（单侧）置信下限。假如等号对一切 $\theta \in \Theta$ 成立，则称 ${\hat{\theta }}_L$ 是 $\theta$ 的 $1-\alpha$ 同等置信下限。若对给定的 $\alpha (0<\alpha <1)$ 和任意的 $\theta \in \Theta$，有

$$P_{\theta }({\hat{\theta }}_U\ge \theta )\ge 1-\alpha ,$$

则称 ${\hat{\theta }}_U$ 是 $\theta$ 的置信水平为 $1-\alpha$ 的（单侧）置信上限。若等号对一切 $\theta \in \Theta$ 成立，则称 ${\hat{\theta }}_U$ 是 $\theta$ 的 $1-\alpha$ 同等置信上限。

4. 枢轴量法 寻找同等置信区间常采用枢轴量法，其步骤如下：

1. 设法构造一个样本和 $\theta$ 的函数 $G=G(x_1,x_2,\dots ,x_n,\theta )$，使得 $G$ 的分布不依赖于未知参数。此种 $G$ 被称为枢轴量；
2. 适当地选择两个常数 $c,d$，使对给定的 $\alpha (0<\alpha <1)$，有 $P(c\le G\le d)=1-\alpha$；
3. 若能将 $c\le G\le d$ 进行不等式等价变形化为 ${\hat{\theta }}_L\le \theta \le {\hat{\theta }}_U$，则有

$$P_{\theta }({\hat{\theta }}_L\le \theta \le {\hat{\theta }}_U)=1-\alpha ,$$

最后的 $[{\hat{\theta }}_L,{\hat{\theta }}_U]$ 就是 $\theta$ 的 $1-\alpha$ 同等置信区间。

关于置信区间的构造有两点说明：

1. 满足置信水平要求的 $c$ 与 $d$ 通常不唯一。若有可能，应选平均长度 $E({\hat{\theta }}_U-{\hat{\theta }}_L)$ 达到最短的 $c$ 与 $d$，这在 $G$ 的分布为对称分布场合通常容易实现。
2. 实际中，选平均长度 $E({\hat{\theta }}_U-{\hat{\theta }}_L)$ 尽可能短的 $c$ 与 $d$ 往往很难实现，此时，常这样选择 $c$ 与 $d$，使得两个尾部概率各为 $\alpha /2$，即 $P(G<c)=P(G>d)=\alpha /2$，这样的置信区间称为等尾置信区间。这是在 $G$ 的分布为偏态分布场合常采用的方法。

5. 常用的置信区间

(1) 设 $x_1,x_2,\dots ,x_n$ 是来自 $N(\mu ,{\sigma }^2)$ 的样本，$\bar{x}$ 为样本均值，$s$ 为样本标准差，$u_p$ 为标准正态分布的 $p$ 分位数，$t_p(k)$ 为自由度是 $k$ 的 $t$ 分布 $t(k)$ 的 $p$ 分位数，${\chi }_p^2(k)$ 为自由度是 $k$ 的 ${\chi }^2$ 分布 ${\chi }^2(k)$ 的 $p$ 分位数，取置信水平 $1-\alpha$，则

1. $\sigma$ 已知时 $\mu$ 的置信区间为

$$\left[\bar{x}-u_{1-\alpha /2}\frac{\sigma }{\sqrt{n}},\bar{x}+u_{1-\alpha /2}\frac{\sigma }{\sqrt{n}}\right];$$

1. $\sigma$ 未知时 $\mu$ 的置信区间为

$$\left[\bar{x}-t_{1-\alpha /2}(n-1)\frac{s}{\sqrt{n}},\bar{x}+t_{1-\alpha /2}(n-1)\frac{s}{\sqrt{n}}\right];$$

1. ${\sigma }^2$（$\mu$ 未知）的置信区间为

$$\left[\frac{(n-1)s^2}{{\chi }_{1-\alpha /2}^2(n-1)},\frac{(n-1)s^2}{{\chi }_{\alpha /2}^2(n-1)}\right];$$

1. $\sigma$（$\mu$ 未知）的置信区间为

$$\left[\frac{s\sqrt{n-1}}{\sqrt{{\chi }_{1-\alpha /2}^2(n-1)}},\frac{s\sqrt{n-1}}{\sqrt{{\chi }_{\alpha /2}^2(n-1)}}\right].$$

(2) 设 $x_1,x_2,\dots ,x_m$ 是来自 $N({\mu }_1,{\sigma }_1^2)$ 的样本，$\bar{x}$ 为其样本均值，$s_x$ 为其样本标准差；$y_1,y_2,\dots ,y_n$ 是来自 $N({\mu }_2,{\sigma }_2^2)$ 的样本，$\bar{y}$ 为其样本均值，$s_y$ 为其样本标准差；$u_p,t_p(k)$ 含义同上，$F_p(k_1,k_2)$ 为自由度是 $(k_1,k_2)$ 的 $F$ 分布 $F(k_1,k_2)$ 的 $p$ 分位数，取置信水平 $1-\alpha$，则

1. ${\sigma }_1^2$ 与 ${\sigma }_2^2$ 均已知时，${\mu }_1-{\mu }_2$ 的置信区间为

$$\left[\bar{x}-\bar{y}-u_{1-\alpha /2}\sqrt{\frac{{\sigma }_1^2}{m}+\frac{{\sigma }_2^2}{n}},\bar{x}-\bar{y}+u_{1-\alpha /2}\sqrt{\frac{{\sigma }_1^2}{m}+\frac{{\sigma }_2^2}{n}}\right];$$

1. ${\sigma }_1^2={\sigma }_2^2$ 未知时，${\mu }_1-{\mu }_2$ 的置信区间为

$$\left[\bar{x}-\bar{y}-\sqrt{\frac{m+n}{mn}}{s}_w{t}_{1-\alpha /2}(m+n-2),\bar{x}-\bar{y}+\sqrt{\frac{m+n}{mn}}{s}_w{t}_{1-\alpha /2}(m+n-2)\right],$$

其中

$$s_w^2=\frac{(m-1)s_x^2+(n-1)s_y^2}{m+n-2};$$

1. $\frac{{\sigma }_1^2}{{\sigma }_2^2}=c$ 已知时，${\mu }_1-{\mu }_2$ 的置信区间为

$$\left[\bar{x}-\bar{y}-\sqrt{\frac{mc+n}{mn}}{s}_t{t}_{1-\alpha /2}(m+n-2),\bar{x}-\bar{y}+\sqrt{\frac{mc+n}{mn}}{s}_t{t}_{1-\alpha /2}(m+n-2)\right],$$

其中

$$s_t^2=\frac{(m-1)s_x^2+(n-1)s_y^2/c}{m+n-2};$$

1. $m$ 与 $n$ 都很大时，${\mu }_1-{\mu }_2$ 的近似置信区间为

$$\left[\bar{x}-\bar{y}-u_{1-\alpha /2}\sqrt{\frac{s_x^2}{m}+\frac{s_y^2}{n}},\bar{x}-\bar{y}+u_{1-\alpha /2}\sqrt{\frac{s_x^2}{m}+\frac{s_y^2}{n}}\right];$$

1. 一般场合下 ${\mu }_1-{\mu }_2$ 的近似置信区间为

$$\left[\bar{x}-\bar{y}-s_0{t}_{1-\alpha /2}(l),\bar{x}-\bar{y}+s_0{t}_{1-\alpha /2}(l)\right],$$

其中

$$s_0^2=\frac{s_x^2}{m}+\frac{s_y^2}{n},l=\frac{s_0^4}{\frac{s_x^4}{m^2(m-1)}+\frac{s_y^4}{n^2(n-1)}}.$$

1. 方差比 $\frac{{\sigma }_1^2}{{\sigma }_2^2}$ 的置信区间为

$$\left[\frac{s_x^2}{s_y^2}\cdot \frac{1}{F_{1-\alpha /2}(m-1,n-1)},\frac{s_x^2}{s_y^2}\cdot \frac{1}{F_{\alpha /2}(m-1,n-1)}\right].$$

(3) 设 $x_1,x_2,\dots ,x_n$ 是来自 $b(1,p)$ 的样本，$\bar{x}$ 为其样本均值，则 $n$ 很大时比例 $p$ 的置信水平为 $1-\alpha$ 的近似置信区间为

$$\left[\bar{x}-u_{1-\alpha /2}\sqrt{\frac{\bar{x}(1-\bar{x})}{n}},\bar{x}+u_{1-\alpha /2}\sqrt{\frac{\bar{x}(1-\bar{x})}{n}}\right].$$

6. 样本量的确定 控制比率 $p$ 的 $1-\alpha$ 置信区间长度不超过 $2d_0$ 的最小样本量为

$$n\ge {\left(\frac{u_{1-\alpha /2}}{2d_0}\right)}^2.$$

习题与解答 6.6

习题 6.6-1

某厂生产的化纤强度服从正态分布，长期以来其标准差稳定在 $\sigma =0.85$，现抽取了一个容量为 $n=25$ 的样本，测定其强度，算得样本均值为 $\bar{x}=2.25$，试求这批化纤平均强度的置信水平为 $0.95$ 的置信区间。

解 这是方差已知时正态均值的区间估计问题。由题设条件 $1-\alpha =0.95$，$\alpha =0.05$，查表知 $u_{0.975}=1.96$，于是这批化纤平均强度的置信水平为 $0.95$ 的置信区间为

$$\left[\bar{x}-u_{1-\alpha /2}\frac{\sigma }{\sqrt{n}},\bar{x}+u_{1-\alpha /2}\frac{\sigma }{\sqrt{n}}\right]=\left[2.25-1.96\times \frac{0.85}{\sqrt{25}},2.25+1.96\times \frac{0.85}{\sqrt{25}}\right].$$

即这批化纤平均强度的置信水平为 $0.95$ 的置信区间为

$$[1.9168,2.5832].$$

习题 6.6-2

总体 $X\sim N(\mu ,{\sigma }^2)$，${\sigma }^2$ 已知，问样本容量 $n$ 取多大时才能保证 $\mu$ 置信水平为 $95\%$ 的置信区间的长度不大于 $k$。

解 已知条件下得 $\mu$ 的 $0.95$ 置信区间为

$$\left[\bar{x}-u_{1-\alpha /2}\frac{\sigma }{\sqrt{n}},\bar{x}+u_{1-\alpha /2}\frac{\sigma }{\sqrt{n}}\right],$$

其区间长度为 $2u_{1-\alpha /2}\sigma /\sqrt{n}$，若使 $2u_{1-\alpha /2}\sigma /\sqrt{n}\le k$，只需

$$n\ge {\left(\frac{2}{k}\right)}^2{\sigma }^2{u}_{1-\alpha /2}^2.$$

由于 $u_{1-\alpha /2}=1.96$，故

$$n\ge {\left(\frac{2}{k}\right)}^2{\sigma }^2\cdot 1.96^2={\left(\frac{3.92\sigma }{k}\right)}^2,$$

即样本容量 $n$ 至少取 ${\left(\frac{3.92\sigma }{k}\right)}^2$ 时，才能保证 $\mu$ 的置信水平为 $95\%$ 的置信区间的长度不大于 $k$。

习题 6.6-3

$0.50,1.25,0.80,2.00$ 是取自总体 $X$ 的样本，已知 $Y=\ln X$ 服从正态分布 $N(\mu ,1)$。

(1) 求 $\mu$ 的置信水平为 $95\%$ 的置信区间；

(2) 求 $X$ 的数学期望的置信水平为 $95\%$ 的置信区间。

解 (1) 将数据进行对数变换，得到 $Y=\ln X$ 的样本值为

$$-0.6931,0.2231,-0.2231,\mathrm{0.6931.}$$

它可看作是来自正态总体 $N(\mu ,1)$ 的样本，其样本均值为 $\bar{y}=0$，由于 $\sigma =1$ 已知，因此，$\mu$ 的置信水平为 $95\%$ 的置信区间为

$$\left[\bar{y}-u_{1-\alpha /2}\frac{1}{\sqrt{n}},\bar{y}+u_{1-\alpha /2}\frac{1}{\sqrt{n}}\right]=[-0.9800,0.9800].$$

(2) 由于

$$E(X)=e^{\mu +\frac{1}{2}}$$

是 $\mu$ 的严格函数，利用 (1) 的结果，可算得 $X$ 的数学期望的置信水平为 $95\%$ 的置信区间为

$$\left[e^{-0.98+0.5},e^{0.98+0.5}\right]=[0.6188,4.3929].$$

习题 6.6-4

用一个仪表测量某一物理量 $9$ 次，得样本均值 $\bar{x}=56.32$，样本标准差 $s=0.22$。

(1) 测量标准差 $\sigma$ 的大小反映了测量仪表的精度，试求 $\sigma$ 的置信水平为 $0.95$ 的置信区间；

(2) 求该物理量真值的置信水平为 $0.99$ 的置信区间。

解 (1) 此处 $(n-1)s^2=8\times 0.22^2=0.3872$。查表知

$${\chi }_{0.025}^2(8)=2.1797,{\chi }_{0.975}^2(8)=17.5345,$$

${\sigma }^2$ 的 $1-\alpha$ 置信区间为

$$\left[\frac{(n-1)s^2}{{\chi }_{1-\alpha /2}^2(n-1)},\frac{(n-1)s^2}{{\chi }_{\alpha /2}^2(n-1)}\right]=\left[\frac{0.3872}{17.5345},\frac{0.3872}{2.1797}\right]=[0.0221,0.1776],$$

从而 $\sigma$ 的置信水平为 $0.95$ 的置信区间为

$$[0.1487,0.4214].$$

(2) 当 $\sigma$ 未知时，$\mu$ 的 $1-\alpha$ 置信区间为

$$\left[\bar{x}-t_{1-\alpha /2}(n-1)\frac{s}{\sqrt{n}},\bar{x}+t_{1-\alpha /2}(n-1)\frac{s}{\sqrt{n}}\right].$$

查表得 $t_{1-0.005}(8)=3.3554$，因而 $\mu$ 的置信水平为 $0.99$ 的置信区间为

$$\left[56.32-3.3554\times \frac{0.22}{\sqrt{9}},56.32+3.3554\times \frac{0.22}{\sqrt{9}}\right]=[56.0739,56.5661].$$

习题 6.6-5

已知某种材料的抗压强度 $X\sim N(\mu ,{\sigma }^2)$，现随机地抽取 $10$ 个试件进行抗压试验，测得数据如下：

$$482,493,457,471,510,446,435,418,394,469.$$

(1) 求平均抗压强度 $\mu$ 的置信水平为 $95\%$ 的置信区间；

(2) 若已知 $\sigma =30$，求平均抗压强度 $\mu$ 的置信水平为 $95\%$ 的置信区间；

(3) 求 $\sigma$ 的置信水平为 $95\%$ 的置信区间。

解 (1) 经计算得，

$$\bar{x}=457.5,s=\mathrm{35.2176.}$$

在 $\sigma$ 未知时，$\mu$ 的置信水平为 $95\%$ 的置信区间为

$$\left[\bar{x}-t_{1-\alpha /2}(n-1)\frac{s}{\sqrt{n}},\bar{x}+t_{1-\alpha /2}(n-1)\frac{s}{\sqrt{n}}\right].$$

查表得 $t_{1-0.025}(9)=2.2622$，因而 $\mu$ 的置信水平为 $95\%$ 的置信区间为

$$\left[457.5-2.2622\times \frac{35.2176}{\sqrt{10}},457.5+2.2622\times \frac{35.2176}{\sqrt{10}}\right]=[432.3064,482.6936].$$

(2) 在 $\sigma =30$ 已知时，$\mu$ 的置信水平为 $95\%$ 的置信区间为

$$\left[\bar{x}-u_{1-\alpha /2}\frac{\sigma }{\sqrt{n}},\bar{x}+u_{1-\alpha /2}\frac{\sigma }{\sqrt{n}}\right].$$

查表得 $u_{1-\alpha /2}=1.96$，因而 $\mu$ 的置信水平为 $95\%$ 的置信区间为

$$\left[457.5-1.96\times \frac{30}{\sqrt{10}},457.5+1.96\times \frac{30}{\sqrt{10}}\right]=[438.9058,476.0942].$$

(3) 此处 $(n-1)s^2=11162.5141$。取 $\alpha =0.05$，查表得

$${\chi }_{0.025}^2(9)=2.7004,{\chi }_{0.975}^2(9)=19.0228,$$

因而 ${\sigma }^2$ 的置信水平为 $95\%$ 的置信区间为

$$\left[\frac{11162.5141}{19.0228},\frac{11162.5141}{2.7004}\right]=[586.7966,4133.6521],$$

由此可以得到 $\sigma$ 的置信水平为 $95\%$ 的置信区间为

$$[24.2239,64.2935].$$

习题 6.6-6

在一批货物中随机抽取 $80$ 件，发现有 $11$ 件不合格品，试求这批货物的不合格品率的置信水平为 $0.90$ 的置信区间。

解 此处 $n=80$ 较大，可用正态分布求其近似置信区间。不合格品率的 $1-\alpha$ 近似置信区间为

$$\left[\bar{x}-u_{1-\alpha /2}\sqrt{\frac{\bar{x}(1-\bar{x})}{n}},\bar{x}+u_{1-\alpha /2}\sqrt{\frac{\bar{x}(1-\bar{x})}{n}}\right].$$

此处

$$\bar{x}=\frac{11}{80}=0.1375,u_{0.95}=1.645,$$

因而不合格品率的置信水平为 $0.90$ 的置信区间为

$$\left[0.1375-1.645\sqrt{\frac{0.1375\times 0.8625}{80}},0.1375+1.645\sqrt{\frac{0.1375\times 0.8625}{80}}\right]=[0.0742,0.2008].$$

习题 6.6-7

设 $x_1,x_2,\dots ,x_n$ 是来自泊松分布 $P(\lambda )$ 的样本，证明：$\lambda$ 的近似 $1-\alpha$ 置信区间为

$$\left[\bar{x}+\frac{1}{2n}{u}_{1-\alpha /2}^2-\frac{1}{2}\sqrt{{\left(2\bar{x}+\frac{1}{n}{u}_{1-\alpha /2}^2\right)}^2-4{\bar{x}}^2},\bar{x}+\frac{1}{2n}{u}_{1-\alpha /2}^2+\frac{1}{2}\sqrt{{\left(2\bar{x}+\frac{1}{n}{u}_{1-\alpha /2}^2\right)}^2-4{\bar{x}}^2}\right].$$

解 由中心极限定理知，当样本量 $n$ 较大时，样本均值 $\bar{x}$ 近似服从

$$N\left(\lambda ,\frac{\lambda }{n}\right),$$

因而

$$u=\frac{\bar{x}-\lambda }{\sqrt{\lambda /n}}$$

近似服从 $N(0,1)$，此 $u$ 可作为枢轴量。对给定 $\alpha$，利用标准正态分布的 $1-\alpha /2$ 分位数 $u_{1-\alpha /2}$ 可得

$$P\left(\left|\frac{\bar{x}-\lambda }{\sqrt{\lambda /n}}\right|\le u_{1-\alpha /2}\right)\approx 1-\alpha .$$

括号里的事件等价于

$$(\bar{x}-\lambda {)}^2\le \frac{u_{1-\alpha /2}^2}{n}\lambda ,$$

因而得

$${\lambda }^2-\left(2\bar{x}+\frac{u_{1-\alpha /2}^2}{n}\right)\lambda +{\bar{x}}^2\le 0.$$

其左侧 $\lambda$ 的二次多项式二次项系数为正，故二次曲线开口向上，而其判别式

$${\left(2\bar{x}+\frac{u_{1-\alpha /2}^2}{n}\right)}^2-4{\bar{x}}^2=\frac{4\bar{x}{u}_{1-\alpha /2}^2}{n}+{\left(\frac{u_{1-\alpha /2}^2}{n}\right)}^2>0,$$

故此二次曲线与 $\lambda$ 轴有两个交点，记为 ${\lambda }_L$ 和 ${\lambda }_U$（${\lambda }_L<{\lambda }_U$），则有

$$P({\lambda }_L\le \lambda \le {\lambda }_U)=1-\alpha ,$$

其中 ${\lambda }_L$ 和 ${\lambda }_U$ 可表示为

$$\frac{2\bar{x}+\frac{1}{n}{u}_{1-\alpha /2}^2\pm \sqrt{{\left(2\bar{x}+\frac{1}{n}{u}_{1-\alpha /2}^2\right)}^2-4{\bar{x}}^2}}{2}.$$

这就证明了 $\lambda$ 的近似 $1-\alpha$ 置信区间为

$$\left[\bar{x}+\frac{1}{2n}{u}_{1-\alpha /2}^2-\frac{1}{2}\sqrt{{\left(2\bar{x}+\frac{1}{n}{u}_{1-\alpha /2}^2\right)}^2-4{\bar{x}}^2},\bar{x}+\frac{1}{2n}{u}_{1-\alpha /2}^2+\frac{1}{2}\sqrt{{\left(2\bar{x}+\frac{1}{n}{u}_{1-\alpha /2}^2\right)}^2-4{\bar{x}}^2}\right].$$

事实上，上述近似区间是在 $n$ 比较大时使用的，此时有

$$\frac{1}{2n}{u}_{1-\alpha /2}^2\approx 0,\frac{1}{2}\sqrt{{\left(2\bar{x}+\frac{1}{n}{u}_{1-\alpha /2}^2\right)}^2-4{\bar{x}}^2}\approx u_{1-\alpha /2}\sqrt{\frac{\bar{x}}{n}}.$$

于是，$\lambda$ 的近似 $1-\alpha$ 置信区间可进一步简化为

$$\left[\bar{x}-u_{1-\alpha /2}\sqrt{\frac{\bar{x}}{n}},\bar{x}+u_{1-\alpha /2}\sqrt{\frac{\bar{x}}{n}}\right].$$

习题 6.6-8

某商店某种商品的月销售量服从泊松分布，为合理进货，必须了解销售情况。现记录了该商店过去的一些销售量，数据如下：

$$\begin{array}{ccccccccc}\text{月销售量}& 9& 10& 11& 12& 13& 14& 15& 16\\ \text{月份数}& 1& 6& 13& 12& 9& 4& 2& 1\end{array}$$

试求平均月销售量的置信水平为 $0.95$ 的置信区间。

解 平均月销售量

$$\bar{x}=\frac{{\sum }_{i=1}^8{n}_i{x}_i}{{\sum }_{i=1}^8{n}_i}=\frac{575}{48}=\mathrm{11.9792.}$$

此处 $\alpha =0.05$，$u_{1-\alpha /2}=1.96$，$n=48$ 较大，利用上一题的结果，平均月销售量的近似 $0.95$ 置信区间为

$$\left[11.9792-1.96\sqrt{\frac{11.9792}{48}},11.9792+1.96\sqrt{\frac{11.9792}{48}}\right]=[11.0000,12.9584].$$

若用较为精确的近似公式，得置信区间为

$$[11.0392,12.9992],$$

二者相差不大。

习题 6.6-9

设从总体 $X\sim N({\mu }_1,{\sigma }_1^2)$ 和总体 $Y\sim N({\mu }_2,{\sigma }_2^2)$ 中分别抽取容量为 $n_1=10$，$n_2=15$ 的独立样本，可计算得

$$\bar{x}=82,s_x^2=56.5,\bar{y}=76,s_y^2=\mathrm{52.4.}$$

(1) 若已知 ${\sigma }_1^2=64$，${\sigma }_2^2=49$，求 ${\mu }_1-{\mu }_2$ 的置信水平为 $95\%$ 的置信区间；

(2) 若已知 ${\sigma }_1^2={\sigma }_2^2$，求 ${\mu }_1-{\mu }_2$ 的置信水平为 $95\%$ 的置信区间；

(3) 若对 ${\sigma }_1^2,{\sigma }_2^2$ 一无所知，求 ${\mu }_1-{\mu }_2$ 的置信水平为 $95\%$ 的近似置信区间；

(4) 求 ${\sigma }_1^2/{\sigma }_2^2$ 的置信水平为 $95\%$ 的置信区间。

解 (1) 在 ${\sigma }_1^2,{\sigma }_2^2$ 都已知时，${\mu }_1-{\mu }_2$ 的置信水平为 $1-\alpha$ 的置信区间为

$$\left[\bar{x}-\bar{y}-u_{1-\alpha /2}\sqrt{\frac{{\sigma }_1^2}{n_1}+\frac{{\sigma }_2^2}{n_2}},\bar{x}-\bar{y}+u_{1-\alpha /2}\sqrt{\frac{{\sigma }_1^2}{n_1}+\frac{{\sigma }_2^2}{n_2}}\right].$$

经计算 $\bar{x}-\bar{y}=6$，查表得 $u_{0.975}=1.96$，因而 ${\mu }_1-{\mu }_2$ 的置信水平为 $95\%$ 的置信区间为

$$\left[6-1.96\sqrt{\frac{64}{10}+\frac{49}{15}},6+1.96\sqrt{\frac{64}{10}+\frac{49}{15}}\right]=[-0.0939,12.0939].$$

(2) 当 ${\sigma }_1^2={\sigma }_2^2$ 时，${\mu }_1-{\mu }_2$ 的置信水平为 $1-\alpha$ 的置信区间为

$$\left[\bar{x}-\bar{y}-\sqrt{\frac{n_1+n_2}{n_1{n}_2}}{s}_w{t}_{1-\alpha /2}(n_1+n_2-2),\bar{x}-\bar{y}+\sqrt{\frac{n_1+n_2}{n_1{n}_2}}{s}_w{t}_{1-\alpha /2}(n_1+n_2-2)\right].$$

这里

$$s_w^2=\frac{(n_1-1)s_x^2+(n_2-1)s_y^2}{n_1+n_2-2}=\frac{9\times 56.5+14\times 52.4}{23}=54.0043,$$

而 $t_{0.975}(23)=2.0687$，因而 ${\mu }_1-{\mu }_2$ 的置信水平为 $95\%$ 的置信区间为

$$\left[82-76-2.0687\sqrt{54.0043}\sqrt{\frac{10+15}{10\times 15}},82-76+2.0687\sqrt{54.0043}\sqrt{\frac{10+15}{10\times 15}}\right]=[-0.2063,12.2063].$$

(3) 当 ${\sigma }_1^2,{\sigma }_2^2$ 未知时，由于两个样本量不是很大，故可采用一般场合下的近似置信区间，即 ${\mu }_1-{\mu }_2$ 的置信水平为 $1-\alpha$ 的近似置信区间为

$$\left[\bar{x}-\bar{y}-s_0{t}_{1-\alpha /2}(l),\bar{x}-\bar{y}+s_0{t}_{1-\alpha /2}(l)\right].$$

这里

$$s_0^2=\frac{s_x^2}{n_1}+\frac{s_y^2}{n_2}=\frac{56.5}{10}+\frac{52.4}{15}=9.1433,$$ $$l=\frac{s_0^4}{\frac{s_x^4}{n_1^2(n_1-1)}+\frac{s_y^4}{n_2^2(n_2-1)}}=\frac{9.1433^2}{\frac{56.5^2}{900}+\frac{52.4^2}{3150}}=18.9199\approx 19.$$

又查表得 $t_{0.975}(19)=2.0930$，因而 ${\mu }_1-{\mu }_2$ 的置信水平为 $95\%$ 的近似置信区间为

$$[82-76-2.0930\sqrt{9.1433},82-76+2.0930\sqrt{9.1433}]=[-0.3288,12.3288].$$

(4) ${\sigma }_1^2/{\sigma }_2^2$ 的置信水平为 $1-\alpha$ 的置信区间为

$$\left[\frac{s_x^2}{s_y^2}\cdot \frac{1}{F_{1-\alpha /2}(n_1-1,n_2-1)},\frac{s_x^2}{s_y^2}\cdot \frac{1}{F_{\alpha /2}(n_1-1,n_2-1)}\right].$$

查表得

$$F_{0.975}(9,14)=3.21,F_{0.025}(9,14)=\frac{1}{F_{0.975}(14,9)}=\frac{1}{3.80},$$

因而 ${\sigma }_1^2/{\sigma }_2^2$ 的置信水平为 $95\%$ 的置信区间为

$$\left[\frac{56.5}{52.4}\cdot \frac{1}{3.21},\frac{56.5}{52.4}\cdot 3.80\right]=[0.3359,4.0973].$$

习题 6.6-10

假设人体身高服从正态分布，今抽测甲、乙两地区 $18$ 岁至 $25$ 岁女青年身高得数据如下：甲地区抽取 $10$ 名，样本均值 $1.64\text{m}$，样本标准差 $0.2\text{m}$；乙地区抽取 $10$ 名，样本均值 $1.62\text{m}$，样本标准差 $0.4\text{m}$。求：

(1) 两正态总体方差比的置信水平为 $95\%$ 的置信区间；

(2) 两正态总体均值差的置信水平为 $95\%$ 的置信区间。

解 设 $x_1,x_2,\dots ,x_{10}$ 为甲地区抽取的女青年身高，$y_1,y_2,\dots ,y_{10}$ 为乙地区抽取的女青年身高，由题设条件，

$$\bar{x}=1.64,s_x=0.2,\bar{y}=1.62,s_y=\mathrm{0.4.}$$

(1) ${\sigma }_{\text{甲}}^2/{\sigma }_{\text{乙}}^2$ 的置信水平为 $1-\alpha$ 的置信区间为

$$\left[\frac{s_x^2}{s_y^2}\cdot \frac{1}{F_{1-\alpha /2}(m-1,n-1)},\frac{s_x^2}{s_y^2}\cdot \frac{1}{F_{\alpha /2}(m-1,n-1)}\right].$$

此处 $\alpha =0.05$，$m=n=10$，查表得

$$F_{0.975}(9,9)=4.03,F_{0.025}(9,9)=\frac{1}{F_{0.975}(9,9)}=\frac{1}{4.03},$$

由此，${\sigma }_{\text{甲}}^2/{\sigma }_{\text{乙}}^2$ 的置信水平为 $95\%$ 的置信区间为

$$\left[\frac{0.2^2}{0.4^2}\cdot \frac{1}{4.03},\frac{0.2^2}{0.4^2}\cdot 4.03\right]=[0.0620,1.0075].$$

(2) 由 (1)，${\sigma }_{\text{甲}}^2/{\sigma }_{\text{乙}}^2$ 的置信水平为 $95\%$ 的置信区间包含 $1$，因此有一定理由假定两个正态总体的方差相等，此时

$$s_w^2=\frac{(m-1)s_x^2+(n-1)s_y^2}{m+n-2}=\frac{9\times 0.2^2+9\times 0.4^2}{10+10-2}=\frac{1.8}{18}=\mathrm{0.1.}$$

查表得 $t_{0.975}(18)=2.1009$，故两正态总体均值差的置信水平为 $95\%$ 的置信区间为

$$\left[1.64-1.62-2.1009\sqrt{0.1}\sqrt{\frac{10+10}{10\times 10}},1.64-1.62+2.1009\sqrt{0.1}\sqrt{\frac{10+10}{10\times 10}}\right]=[-0.2771,0.3171].$$

还有另一种解法就是不对方差相等作假定，而采用近似方法求均值差的置信区间，由于

$$s_0^2=\frac{s_x^2}{m}+\frac{s_y^2}{n}=\frac{0.04}{10}+\frac{0.16}{10}=0.02,l=\frac{0.02^2}{\frac{0.04^2}{900}+\frac{0.16^2}{900}}=13,$$

查表知 $t_{0.975}(13)=2.1604$，从而两正态总体均值差的置信水平为 $95\%$ 的近似置信区间为

$$\left[1.64-1.62-2.1604\sqrt{0.02},1.64-1.62+2.1604\sqrt{0.02}\right]=[-0.2855,0.3255].$$

这两个置信区间相差不算太小，所以在应用中条件“方差相等”是否成立是要加以考证的。

习题 6.6-11

设总体 $X$ 的密度函数为

$$p(x,\lambda )=\lambda e^{-\lambda x}{I}_{\{x>0\}},$$

其中 $\lambda >0$ 为未知参数，$x_1,x_2,\dots ,x_n$ 为抽自此总体的简单随机样本，求 $\lambda$ 的置信水平为 $1-\alpha$ 的置信区间。

解 由指数分布和伽马分布的关系知

$$\sum _{i=1}^n{x}_i\sim Ga(n,\lambda ),$$

根据伽马分布的性质，

$$2\lambda \sum _{i=1}^n{x}_i\sim Ga\left(n,\frac{1}{2}\right)={\chi }^2(2n).$$

从而，

$$P\left({\chi }_{\alpha /2}^2(2n)\le 2\lambda \sum _{i=1}^n{x}_i\le {\chi }_{1-\alpha /2}^2(2n)\right)=1-\alpha ,$$

因此可得 $\lambda$ 的置信水平为 $1-\alpha$ 的置信区间为

$$\left[\frac{{\chi }_{\alpha /2}^2(2n)}{2n\bar{x}},\frac{{\chi }_{1-\alpha /2}^2(2n)}{2n\bar{x}}\right].$$

习题 6.6-12

设某电子产品的寿命服从指数分布，其密度函数为

$$\lambda e^{-\lambda x}{I}_{\{x>0\}},$$

现从此批产品中抽取容量为 $9$ 的样本，测得寿命（单位：千时）

$$15,45,50,53,60,65,70,83,90,$$

求平均寿命 $1/\lambda$ 的置信水平为 $0.9$ 的置信区间和置信上、下限。

解 这是上题的一个具体应用。计算得

$$2n\bar{x}=1062,$$

查表可得，

$${\chi }_{0.05}^2(18)=9.3905,{\chi }_{0.1}^2(18)=10.8649,{\chi }_{0.9}^2(18)=25.9894,{\chi }_{0.95}^2(18)=\mathrm{28.8693.}$$

根据上题结论可知，$\lambda$ 的置信水平为 $0.9$ 的置信区间为

$$[0.0088,0.0272],$$

单侧置信上限为 $0.0245$，单侧置信下限为 $0.0102$。所以，平均寿命 $1/\lambda$ 的置信水平为 $0.9$ 的置信区间为

$$[36.76,113.64],$$

单侧置信上限为 $98.04$，单侧置信下限为 $40.82$。

习题 6.6-13

设总体 $X$ 的密度函数为

$$p(x,\theta )=\frac{1}{\pi [1+(x-\theta {)}^2]},-\infty <x<\infty ,-\infty <\theta <\infty ,$$

$x_1,x_2,\dots ,x_n$ 为抽自此总体的简单随机样本，求位置参数 $\theta$ 的置信水平近似为 $1-\alpha$ 的置信区间。

解 由于此柯西分布关于 $\theta$ 对称，故 $\theta$ 是总体中位数。其样本中位数

$$m_{0.5}\sim N\left(\theta ,\frac{{\pi }^2}{4n}\right),$$

所以

$$P\left(-u_{1-\alpha /2}\le \frac{2\sqrt{n}(m_{0.5}-\theta )}{\pi }\le u_{1-\alpha /2}\right)\approx 1-\alpha ,$$

从而可知位置参数 $\theta$ 的置信水平近似为 $1-\alpha$ 的置信区间为

$$\left[m_{0.5}-\frac{\pi }{2\sqrt{n}}{u}_{1-\alpha /2},m_{0.5}+\frac{\pi }{2\sqrt{n}}{u}_{1-\alpha /2}\right].$$

习题 6.6-14

设 $x_1,x_2,\dots ,x_n$ 为抽自正态总体 $N(\mu ,16)$ 的简单随机样本，为使得 $\mu$ 的置信水平为 $1-\alpha$ 的置信区间的长度不大于给定的 $L$，试问样本容量 $n$ 至少要多少？

解 $\mu$ 的置信水平为 $1-\alpha$ 的置信区间为

$$\left[\bar{x}-u_{1-\alpha /2}\frac{4}{\sqrt{n}},\bar{x}+u_{1-\alpha /2}\frac{4}{\sqrt{n}}\right],$$

对应的区间长度为

$$u_{1-\alpha /2}\frac{8}{\sqrt{n}}.$$

令

$$u_{1-\alpha /2}\frac{8}{\sqrt{n}}\le L,$$

得

$$n\ge u_{1-\alpha /2}^2\frac{64}{L^2}.$$

因此，样本容量 $n$ 至少为

$$u_{1-\alpha /2}^2\frac{64}{L^2}.$$

习题 6.6-15

设 $x_1,x_2,\dots ,x_n$ 为抽自正态总体 $N(\mu ,{\sigma }^2)$ 的简单随机样本。试证

$$\frac{\bar{x}-(\mu +k\sigma )}{{\left[{\sum }_{i=1}^n(x_i-\bar{x}{)}^2\right]}^{1/2}}$$

为枢轴量，其中 $k$ 为已知常数。

解 因为

$$\frac{\bar{x}-(\mu +k\sigma )}{\sigma }\sim N\left(-k,\frac{1}{n}\right),\frac{1}{{\sigma }^2}\sum _{i=1}^n(x_i-\bar{x}{)}^2\sim {\chi }^2(n-1),$$

故

$$\frac{\frac{\bar{x}-(\mu +k\sigma )}{\sigma }}{{\left[\frac{1}{{\sigma }^2(n-1)}{\sum }_{i=1}^n(x_i-\bar{x}{)}^2\right]}^{1/2}}\sim t(n-1,\delta ),$$

其中 $t(n-1,\delta )$ 是自由度为 $n-1$ 的非中心 $t$ 分布，其非中心参数 $\delta =-k\sqrt{n}$ 为已知常数。又

$$\frac{\bar{x}-(\mu +k\sigma )}{{\left[{\sum }_{i=1}^n(x_i-\bar{x}{)}^2\right]}^{1/2}}=\frac{\frac{\bar{x}-(\mu +k\sigma )}{\sigma }}{{\left[\frac{1}{{\sigma }^2}{\sum }_{i=1}^n(x_i-\bar{x}{)}^2\right]}^{1/2}},$$

所以

$$\frac{\bar{x}-(\mu +k\sigma )}{{\left[{\sum }_{i=1}^n(x_i-\bar{x}{)}^2\right]}^{1/2}}$$

的分布与 $(\mu ,{\sigma }^2)$ 无关，即为枢轴量。

习题 6.6-16

设 $x_1,x_2,\dots ,x_n$ 是来自

$$U\left(\theta -\frac{1}{2},\theta +\frac{1}{2}\right)$$

的样本，求 $\theta$ 的置信水平为 $1-\alpha$ 的置信区间（提示：证明 $\frac{x_{(n)}+x_{(1)}}{2}-\theta$ 为枢轴量，并求出对应的密度函数）。

解 本题是下一题 (2) 的特殊情形，此处过程从略，答案为

$$\left[\frac{x_{(n)}+x_{(1)}}{2}-\frac{1-{\alpha }^{1/n}}{2},\frac{x_{(n)}+x_{(1)}}{2}+\frac{1-{\alpha }^{1/n}}{2}\right].$$

习题 6.6-17

设 $x_1,x_2,\dots ,x_n$ 为抽自均匀分布 $U({\theta }_1,{\theta }_2)$ 的简单随机样本，记

$$x_{(1)}\le x_{(2)}\le \cdots \le x_{(n)}$$

为其次序统计量。求：

(1) ${\theta }_2-{\theta }_1$ 的置信水平为 $1-\alpha$ 的置信区间；

(2) $\frac{{\theta }_2+{\theta }_1}{2}$ 的置信水平为 $1-\alpha$ 的置信区间。

解 (1) 令

$$y_i=\frac{x_i-{\theta }_1}{{\theta }_2-{\theta }_1},i=1,2,\dots ,n,$$

则 $y_1,y_2,\dots ,y_n$ 独立同分布于 $U(0,1)$。由教材例 5.3.9 可知，

$$y_{(n)}-y_{(1)}\sim Be(n-1,2),$$

所以，

$$P\left(B{e}_{\alpha /2}(n-1,2)\le y_{(n)}-y_{(1)}\le B{e}_{1-\alpha /2}(n-1,2)\right)=1-\alpha ,$$

这里 $B{e}_p(n-1,2)$ 表示 $Be(n-1,2)$ 的 $p$ 分位数。从而，${\theta }_2-{\theta }_1$ 的置信水平为 $1-\alpha$ 的置信区间为

$$\left[\frac{x_{(n)}-x_{(1)}}{B{e}_{1-\alpha /2}(n-1,2)},\frac{x_{(n)}-x_{(1)}}{B{e}_{\alpha /2}(n-1,2)}\right].$$

(2) 令

$$u=\frac{(x_{(n)}+x_{(1)})-({\theta }_2+{\theta }_1)}{x_{(n)}-x_{(1)}},v=x_{(n)}-x_{(1)},$$

则

$$\{\begin{array}{rl}{x}_{(1)}& =\frac{uv-v+{\theta }_1+{\theta }_2}{2},\\ x_{(n)}& =\frac{uv+v+{\theta }_1+{\theta }_2}{2},\end{array}$$

且

$$J=\left|\frac{\partial (x_{(1)},x_{(n)})}{\partial (u,v)}\right|=\left|\begin{array}{cc}v/2& (u-1)/2\\ v/2& (u+1)/2\end{array}\right|=\frac{v}{2}.$$

$(x_{(1)},x_{(n)})$ 的联合密度函数为

$$f(x_{(1)},x_{(n)};{\theta }_1,{\theta }_2)=\frac{n(n-1)}{({\theta }_2-{\theta }_1{)}^n}(x_{(n)}-x_{(1)}{)}^{n-2},{\theta }_1<x_{(1)}\le x_{(n)}<{\theta }_2,$$

所以，$(u,v)$ 的联合密度函数为

$$g(u,v;{\theta }_1,{\theta }_2)=\frac{n(n-1)}{2({\theta }_2-{\theta }_1{)}^n}{v}^{n-1},$$

并且

$${\theta }_1<\frac{uv-v+{\theta }_1+{\theta }_2}{2}\le \frac{uv+v+{\theta }_1+{\theta }_2}{2}<{\theta }_2.$$

由于

$$\{(u,v):{\theta }_1<\frac{uv-v+{\theta }_1+{\theta }_2}{2}\le \frac{uv+v+{\theta }_1+{\theta }_2}{2}<{\theta }_2\}=\{(u,v):{\theta }_1-{\theta }_2<uv-v\le uv+v<{\theta }_2-{\theta }_1\},$$

下面讨论在 $u$ 给定后 $v$ 的取值范围，显然有 $v>0$，故主要是确定 $v$ 的上界。若 $u\ge 0$，则上式给出

$$v<\frac{{\theta }_2-{\theta }_1}{1+u},$$

而若 $u<0$，则上式给出

$$v<\frac{{\theta }_2-{\theta }_1}{1-u},$$

从而 $u$ 的密度函数为

$$\begin{array}{rl}h(u)& =I_{\{u\ge 0\}}{\int }_0^{({\theta }_2-{\theta }_1)/(1+u)}\frac{n(n-1)}{2({\theta }_2-{\theta }_1{)}^n}{v}^{n-1}dv\\ & +I_{\{u<0\}}{\int }_0^{({\theta }_2-{\theta }_1)/(1-u)}\frac{n(n-1)}{2({\theta }_2-{\theta }_1{)}^n}{v}^{n-1}dv\\ & =\frac{n-1}{2(1+|u|{)}^n}.\end{array}$$

注意到该密度函数是对称的，对任意给定的 $c>0$，有

$$P(|u|\le c)={\int }_0^c\frac{n-1}{(1+u{)}^n}du=1-(1+c{)}^{-(n-1)}.$$

取

$$c_0={\alpha }^{-\frac{1}{n-1}}-1,$$

则

$$P(-c_0\le u\le c_0)=1-\alpha ,$$

即

$$P\left(-c_0\le \frac{[(x_{(n)}+x_{(1)})-({\theta }_2+{\theta }_1)]}{x_{(n)}-x_{(1)}}\le c_0\right)=1-\alpha ,$$

因此，$\frac{{\theta }_2+{\theta }_1}{2}$ 的置信水平为 $1-\alpha$ 的置信区间为

$$\left[\frac{x_{(n)}+x_{(1)}}{2}-\frac{c_0(x_{(n)}-x_{(1)})}{2},\frac{x_{(n)}+x_{(1)}}{2}+\frac{c_0(x_{(n)}-x_{(1)})}{2}\right].$$

习题 6.6-18

设 $x_1,x_2,\dots ,x_m$ 独立同分布于 $U(0,{\theta }_1)$，$y_1,y_2,\dots ,y_n$ 独立同分布于 $U(0,{\theta }_2)$，${\theta }_1>0,{\theta }_2>0$ 皆未知，且两样本独立，求 ${\theta }_1/{\theta }_2$ 的一个置信水平为 $1-\alpha$ 的置信区间（提示：令 $T_1=x_{(m)}$，$T_2=y_{(n)}$，证明 $\frac{T_2}{T_1}\cdot \frac{{\theta }_1}{{\theta }_2}$ 的分布与 ${\theta }_1,{\theta }_2$ 无关，并求出对应的密度函数）。

解 记

$$T_1=x_{(m)},T_2=y_{(n)},$$

则

$$X=\frac{T_1}{{\theta }_1}\sim Be(m,1),Y=\frac{T_2}{{\theta }_2}\sim Be(n,1),$$

故

$$T=\frac{X}{Y}=\frac{T_1/{\theta }_1}{T_2/{\theta }_2}=\frac{T_1}{T_2}\cdot \frac{{\theta }_2}{{\theta }_1}$$

的分布完全已知，可作为枢轴量。下求 $T$ 的分布。

利用商的公式，只是要注意 $y$ 的积分范围。此处变量取值范围为

$$0<x<1,0<y<1,$$

即

$$0<ty<1,0<y<1.$$

故当 $t\in (0,1)$ 时，$0<y<1$，有

$$p(t)={\int }_0^{1}m(yt{)}^{m-1}n{y}^{n-1}\cdot ydy=\frac{mn}{m+n}{t}^{m-1}.$$

而当 $t\ge 1$ 时，$0<y<1/t$，

$$p(t)={\int }_0^{1/t}m(yt{)}^{m-1}n{y}^{n-1}\cdot ydy=\frac{mn}{m+n}{t}^{-n-1}.$$

由此可写出其分布函数（更加简洁），为

$$F(t)=\{\begin{array}{ll}\frac{n}{m+n}{t}^m,& 0<t<1,\\ 1-\frac{m}{m+n}{t}^{-n},& t\ge 1.\end{array}$$

对给定的充分小的 $\alpha$，由上式不难给出两个分位数，如取

$$t_1={\left(\frac{m+n}{n}\frac{\alpha }{2}\right)}^{1/m},t_2={\left(\frac{m+n}{m}\frac{\alpha }{2}\right)}^{-1/n},$$

则

$$P(t_1\le T\le t_2)=1-\alpha ,$$

于是给出了 ${\theta }_1/{\theta }_2$ 的一个置信水平为 $1-\alpha$ 的置信区间为

$$\left[\frac{x_{(m)}}{y_{(n)}}{\left(\frac{m+n}{m}\frac{\alpha }{2}\right)}^{1/n},\frac{x_{(m)}}{y_{(n)}}{\left(\frac{m+n}{n}\frac{\alpha }{2}\right)}^{-1/m}\right].$$

习题 6.6-19

设总体 $X$ 的密度函数为

$$p(x,\theta )=e^{-(x-\theta )}{I}_{\{x>\theta \}},-\infty <\theta <\infty ,$$

$x_1,x_2,\dots ,x_n$ 为抽自此总体的简单随机样本。

(1) 证明：$x_{(1)}-\theta$ 的分布与 $\theta$ 无关，并求出此分布；

(2) 求 $\theta$ 的置信水平为 $1-\alpha$ 的置信区间。

解 (1) 令

$$y_i=x_i-\theta ,i=1,2,\dots ,n,$$

则 $y_1,y_2,\dots ,y_n$ 独立同分布于 $Exp(1)$，$y_{(1)}$ 的密度函数为

$$g(y)=n{e}^{-ny},y>0,$$

即 $x_{(1)}-\theta$ 的分布与 $\theta$ 无关，其密度函数为

$$g(y)=n{e}^{-ny},y>0.$$

(2) 取 $c,d$ 使得

$$P(c\le x_{(1)}-\theta \le d)={\int }_c^{d}n{e}^{-ny}dy=1-\alpha .$$

由于 $g(y)=n{e}^{-ny}$ 在 $y>0$ 上单调递减，为使得区间长度最短，故应取 $c=0$，从而求得

$$d=-\frac{\ln \alpha }{n}.$$

所以，$\theta$ 的置信水平为 $1-\alpha$ 的置信区间为

$$\left[x_{(1)}+\frac{\ln \alpha }{n},x_{(1)}\right].$$

补充习题及解答

补充习题 20

随机选取 $9$ 发炮弹，测得炮弹的炮口速度的样本标准差 $s=11\text{m/s}$，若炮弹的炮口速度服从正态分布，求其标准差 $\sigma$ 的 $0.95$ 置信上限。

解 在正态分布下，对样本方差 $s^2$ 有

$$\frac{8s^2}{{\sigma }^2}\sim {\chi }^2(8),$$

从而有

$$P\left(\frac{8s^2}{{\sigma }^2}\ge {\chi }_{\alpha }^2(8)\right)=1-\alpha .$$

等价地，

$$P\left(\sigma \le \sqrt{\frac{8s^2}{{\chi }_{\alpha }^2(8)}}\right)=1-\alpha ,$$

故标准差 $\sigma$ 的 $1-\alpha$ 置信上限为

$${\hat{\sigma }}_U=\sqrt{\frac{8s^2}{{\chi }_{\alpha }^2(8)}}.$$

现 $\alpha =0.05$，查表知

$${\chi }_{0.05}^2(8)=2.7326,$$

故标准差 $\sigma$ 的 $0.95$ 置信上限为

$${\hat{\sigma }}_U=\sqrt{\frac{8\times 11^2}{2.7326}}=\mathrm{18.82.}$$

补充习题 21

有两位化验员 $A$ 与 $B$ 独立地对一批聚合物含氯量用同样方法各进行 $10$ 次重复测定，其样本方差分别为 $s_A^2=0.5419$ 与 $s_B^2=0.6065$，若 $A$ 与 $B$ 的测量值都服从正态分布，求其方差比

$$R=\frac{{\sigma }_A^2}{{\sigma }_B^2}$$

的 $0.95$ 置信上限。

解 在正态分布下，两样本方差比服从 $F$ 分布，具体是

$$\frac{s_A^2/{\sigma }_A^2}{s_B^2/{\sigma }_B^2}=\frac{s_A^2}{s_B^2}\cdot \frac{{\sigma }_B^2}{{\sigma }_A^2}\sim F(9,9).$$

从而有

$$P\left(\frac{s_A^2}{s_B^2}\cdot \frac{{\sigma }_B^2}{{\sigma }_A^2}\ge F_{\alpha }(9,9)\right)=1-\alpha ,$$

即

$$P\left(R\le \frac{s_A^2/s_B^2}{F_{\alpha }(9,9)}\right)=1-\alpha ,$$

故 $R$ 的 $1-\alpha$ 置信上限为

$${\hat{R}}_U=\frac{s_A^2/s_B^2}{F_{\alpha }(9,9)}.$$

现 $\alpha =0.05$，查表知

$$F_{0.05}(9,9)=\frac{1}{F_{0.95}(9,9)}=\frac{1}{3.18},$$

故 $R$ 的 $1-\alpha$ 置信上限为

$${\hat{R}}_U=\frac{s_A^2/s_B^2}{F_{0.05}(9,9)}=\frac{0.5419}{0.6065}\times 3.18=\mathrm{2.84.}$$

补充习题 22

为估计某台光谱仪测量材料中金属含量的测量误差，特置备了 $5$ 个金属试块，其成分、金属含量、均匀性都有差别，设每个试块的测量值都服从正态分布，现对每个试块重复测量 $6$ 次，计算得其样本标准差分别为

$$s_1=0.09,s_2=0.11,s_3=0.14,s_4=0.10,s_5=0.11,$$

试求 $\sigma$ 的 $0.95$ 置信区间。

解 从题意可知，这里 $s_i$ 可以看作来自正态总体 $N({\mu }_i,{\sigma }^2)$ 的容量为 $n=6$ 的样本标准差，$i=1,2,\dots ,5$，由此可知

$$(n-1)\frac{s_i^2}{{\sigma }^2}\sim {\chi }^2(n-1),$$

即

$$5\frac{s_i^2}{{\sigma }^2}\sim {\chi }^2(5).$$

由于各试块的测量可以为相互独立的，故有

$$\sum _{i=1}^5\frac{5s_i^2}{{\sigma }^2}\sim {\chi }^2(5\times 5)={\chi }^2(25),$$

从而

$$P\left({\chi }_{\alpha /2}^2(25)\le \frac{1}{{\sigma }^2}\sum _{i=1}^{5}5s_i^2\le {\chi }_{1-\alpha /2}^2(25)\right)=1-\alpha ,$$

即

$$P\left(\sqrt{\frac{5}{{\chi }_{1-\alpha /2}^2(25)}\sum _{i=1}^5{s}_i^2}\le \sigma \le \sqrt{\frac{5}{{\chi }_{\alpha /2}^2(25)}\sum _{i=1}^5{s}_i^2}\right)=1-\alpha .$$

故 $\sigma$ 的 $1-\alpha$ 置信区间为

$$\left[\sqrt{\frac{5}{{\chi }_{1-\alpha /2}^2(25)}\sum _{i=1}^5{s}_i^2},\sqrt{\frac{5}{{\chi }_{\alpha /2}^2(25)}\sum _{i=1}^5{s}_i^2}\right].$$

现算出

$$\sum _{i=1}^5{s}_i^2=\mathrm{0.0619.}$$

对 $\alpha =0.05$，查表知

$${\chi }_{0.025}^2(25)=13.1197,{\chi }_{0.975}^2(25)=40.6465,$$

代入可算得 $\sigma$ 的 $0.95$ 置信区间为

$$\left[\sqrt{\frac{5\times 0.0619}{40.6465}},\sqrt{\frac{5\times 0.0619}{13.1197}}\right]=[0.0873,0.1536].$$

补充习题 23

为研究某型号汽车轮胎的磨耗，随机选择 $16$ 只轮胎，每只轮胎行驶到磨坏为止，记录所行驶路程（单位：km）如下：

$$\begin{array}{rl}& 4125040187431754101039265418724265441287\\ & 3897040200425504109540680435003977540400\end{array}$$

假设这些数据来自正态总体 $N(\mu ,{\sigma }^2)$，其中 $\mu ,{\sigma }^2$ 未知，求 $\mu$ 的置信水平为 $0.95$ 的单侧置信下限。

解 先计算样本均值 $\bar{x}$ 与样本标准差 $s$，

$$\bar{x}=41116.9,s=\mathrm{1346.84.}$$

利用 $\sigma$ 未知场合的 $\mu$ 的单侧置信下限

$${\hat{\mu }}_L=\bar{x}-t_{1-\alpha }(n-1)\frac{s}{\sqrt{n}},$$

这里 $n=16$，$t_{0.95}(15)=1.7531$，代入可得

$${\hat{\mu }}_L=41116.9-1.7531\times \frac{1346.84}{\sqrt{16}}=40526.6\text{(km)}.$$

补充习题 24

有一位市场调查员，他感兴趣的是该地区成年人中将购买某种产品的比例 $\theta$（即该商品的市场占有率）。现他要事先确定需要访问多少顾客（样本量 $n=?$）才能使 $[\bar{x}-d,\bar{x}+d]$ 是 $\theta$ 的置信水平为 $0.95$ 的置信区间，其中 $\bar{x}$ 是样本中购买此种商品的顾客的比例，$d$ 是事先给定的常数。假如事先知道 $\theta \le 1/4$，结果又是如何？

解 对第一个问题，教科书中例 6.6.8 对类似的问题进行了讨论，给出了一种解法，此处我们换一种思路对该问题进行讨论。

设 $x_1,x_2,\dots ,x_n$ 是来自二点分布 $b(1,\theta )$ 的一个样本，$\bar{x}$ 就是样本中购买此种商品的顾客的比例，由中心极限定理知，当 $n$ 较大时，

$$\frac{\sqrt{n}(\bar{x}-\theta )}{\sqrt{\theta (1-\theta )}}\approx N(0,1).$$

在 $\theta$ 未知时，有

$$\theta (1-\theta )\le \frac{1}{4},$$

从而

$$P\left(\left|\frac{\sqrt{n}(\bar{x}-\theta )}{\sqrt{1/4}}\right|<u_{1-\alpha /2}\right)\ge P\left(\left|\frac{\sqrt{n}(\bar{x}-\theta )}{\sqrt{\theta (1-\theta )}}\right|<u_{1-\alpha /2}\right)=1-\alpha ,$$

即

$$P\left(\bar{x}-\frac{u_{1-\alpha /2}}{2\sqrt{n}}\le \theta \le \bar{x}+\frac{u_{1-\alpha /2}}{2\sqrt{n}}\right)\ge 1-\alpha .$$

这说明

$$\left[\bar{x}-\frac{u_{1-\alpha /2}}{2\sqrt{n}},\bar{x}+\frac{u_{1-\alpha /2}}{2\sqrt{n}}\right]$$

是 $\theta$ 的置信水平 $1-\alpha$ 的置信区间。要求该置信区间的长度不超过 $2d$，即得

$$2u_{1-\alpha /2}/(2\sqrt{n})\le 2d,$$

或

$$n\ge {\left(\frac{u_{1-\alpha /2}}{2d}\right)}^2.$$

若 $\alpha =0.05$，$u_{0.975}=1.96$，当 $d=0.01,0.02,0.03$ 时可分别算得

$$n\ge 9604,2401,1067.$$

样本量随 $d$ 的增加（精度减小）迅速降低。

对第二个问题，当已知 $\theta \le {\theta }_0$（${\theta }_0<1/2$）（或已知 $\theta \ge {\theta }_0$（${\theta }_0>1/2$），处理方法完全一样）时，由于

$$f(\theta )=\theta (1-\theta )$$

在 $(0,{\theta }_0)$ 是增函数，所以

$$\theta (1-\theta )\le {\theta }_0(1-{\theta }_0),$$

从而

$$P\left(\left|\frac{\sqrt{n}(\bar{x}-\theta )}{\sqrt{{\theta }_0(1-{\theta }_0)}}\right|<u_{1-\alpha /2}\right)\ge P\left(\left|\frac{\sqrt{n}(\bar{x}-\theta )}{\sqrt{\theta (1-\theta )}}\right|<u_{1-\alpha /2}\right)=1-\alpha .$$

这说明

$$\left[\bar{x}-u_{1-\alpha /2}\sqrt{\frac{{\theta }_0(1-{\theta }_0)}{n}},\bar{x}+u_{1-\alpha /2}\sqrt{\frac{{\theta }_0(1-{\theta }_0)}{n}}\right]$$

是 $\theta$ 的置信水平 $1-\alpha$ 的置信区间。类似地，要求该置信区间的长度不超过 $2d$，即得

$$n\ge {\left(\frac{u_{1-\alpha /2}}{d}\right)}^2{\theta }_0(1-{\theta }_0).$$

譬如，若已知 $\theta \le 1/4$（即 ${\theta }_0=1/4$），则

$${\theta }_0(1-{\theta }_0)=\frac{3}{16},$$

于是关于样本量的要求化为

$$n\ge {\left(\frac{u_{1-\alpha /2}}{d}\right)}^2\frac{3}{16}.$$

仍取 $\alpha =0.05$，当 $d=0.01,0.02,0.03$ 时分别算得

$$n\ge 7203,1801,800,$$

与 $\theta$ 完全未知情况相比样本量约减少 $25\%$。由此可见，若对 $\theta$ 事先有若干信息可利用，得知市场占有率不会超过 ${\theta }_0$，那么就应利用这个信息，减少样本量，也即减少调查费用。