§6.3 最大似然估计与 EM 算法

依赖于

• 无显式依赖

被以下题目直接调用

• 无

正文部分

§6.3 最大似然估计与 EM 算法

1. 最大似然估计 利用“最大似然原理”获得的估计，只能在总体概率函数形式已知的情况下使用。若总体的概率函数为 $p(x;\theta )$，$\theta \in \Theta$，$x_1,x_2,\cdots ,x_n$ 是来自该总体的样本，则似然函数为

$$L(\theta )=L(\theta ;x_1,x_2,\cdots ,x_n)=p(x_1;\theta )p(x_2;\theta )\cdots p(x_n;\theta ).$$

使似然函数 $L(\theta )$ 达到最大的统计量 $\hat{\theta }=\hat{\theta }(x_1,x_2,\cdots ,x_n)$ 称为 $\theta$ 的最大似然估计，简称 MLE，即

$$L(\hat{\theta })=\underset{\theta \in \Theta }{\max }L(\theta ).$$

注意：使对数似然函数 $\ln L(\theta )$ 达到最大的 $\hat{\theta }$ 也使似然函数 $L(\theta )$ 最大，寻找最大值时也常对 $l(\theta )=\ln L(\theta )$ 使用微分法。

1. 最大似然估计的不变性 若 $\hat{\theta }$ 是 $\theta$ 的最大似然估计，则对任一函数 $g(\theta )$，$g(\hat{\theta })$ 是 $g(\theta )$ 的最大似然估计。
2. EM 算法 当分布中有多余参数或数据为截尾或缺失时，其 MLE 的求取是比较困难的。Dempster 等人于 $1977$ 年提出了 EM 算法，其出发点是把求 MLE 的过程分两步走：第一步求期望（E 步），以便把多余的部分去掉；第二步求极大值（M 步）。重复使用这两步直至收敛可得 MLE 的近似解。这是一种非常有效的方法。
3. MLE 的渐近正态性 在很一般条件下，总体分布 $p(x;\theta )$ 中 $\theta$ 的 MLE ${\hat{\theta }}_n$ 具有相合性与渐近正态性，即

$${\hat{\theta }}_n\sim AN\left(\theta ,\frac{1}{nI(\theta )}\right),$$

其中

$$I(\theta )={\int }_{-\infty }^{\infty }{\left[\frac{\partial }{\partial \theta }\ln p(x;\theta )\right]}^{2}p(x;\theta )dx$$

称为费希尔信息量。

习题与解答 6.3

习题 6.3-1

试求下列未知参数的最大似然估计：

1. $p(x;\theta )=\sqrt{\theta }{x}^{\sqrt{\theta }-1},0<x<1,\theta >0;$
2. $p(x;\theta )=\theta c^{\theta }{x}^{-(\theta +1)},x>c,c>0\text{ 已知},\theta >1.$

解 (1) 似然函数

$$L(\theta )=(\sqrt{\theta }{)}^n(x_1{x}_2\cdots x_n{)}^{\sqrt{\theta }-1},$$

其对数似然函数为

$$\ln L(\theta )=\frac{n}{2}\ln \theta +(\sqrt{\theta }-1)(\ln x_1+\ln x_2+\cdots +\ln x_n).$$

对 $\theta$ 求导并令其为 $0$，得

$$\frac{\partial \ln L(\theta )}{\partial \theta }=\frac{n}{2\theta }+\frac{{\sum }_{i=1}^n\ln x_i}{2\sqrt{\theta }}=0,$$

故最大似然估计为

$$\hat{\theta }={\left(\frac{1}{n}\sum _{i=1}^n\ln x_i\right)}^{-2}.$$

再注意到

$${\frac{{\partial }^2\ln L(\theta )}{\partial {\theta }^2}|}_{\hat{\theta }}=\left(-\frac{n}{2{\theta }^2}-\frac{{\sum }_{i=1}^n\ln x_i}{4{\theta }^{3/2}}\right){|}_{\hat{\theta }}=-\frac{3{\left({\sum }_{i=1}^n\ln x_i\right)}^4}{4n^3}<0,$$

故 $\hat{\theta }$ 为 $\theta$ 的最大似然估计。

(2) 似然函数

$$L(\theta )={\theta }^n{c}^{n\theta }(x_1{x}_2\cdots x_n{)}^{-(\theta +1)},$$

其对数似然函数为

$$\ln L(\theta )=n\ln \theta +n\theta \ln c-(\theta +1)\sum _{i=1}^n\ln x_i.$$

对 $\theta$ 求导并令其为 $0$，得

$$\frac{n}{\theta }+n\ln c-\sum _{i=1}^n\ln x_i=0,$$

故最大似然估计为

$$\hat{\theta }={\left(\frac{1}{n}\sum _{i=1}^n\ln x_i-\ln c\right)}^{-1}.$$

又由于

$$\frac{{\partial }^2\ln L(\theta )}{\partial {\theta }^2}=-\frac{n}{{\theta }^2}<0,$$

故 $\hat{\theta }$ 为 $\theta$ 的最大似然估计。

习题 6.3-2

试求下列未知参数的最大似然估计：

1. $p(x;\theta )=c{\theta }^c{x}^{-(c+1)},x>\theta ,\theta >0,c>0\text{ 已知};$
2. $p(x;\theta ,\mu )=\frac{1}{\theta }{e}^{-(x-\mu )/\theta },x>\mu ,\theta >0;$
3. $p(x;\theta )=\frac{1}{k\theta },\theta <x<(k+1)\theta ,\theta >0,k>0\text{ 已知}.$

解 (1) 似然函数为

$$L(\theta )=c^n{\theta }^{nc}(x_1{x}_2\cdots x_n{)}^{-(c+1)}{I}_{\{x_{(1)}>\theta \}}.$$

要使 $L(\theta )$ 达到最大，指示函数必须为 $1$，且在此条件下 ${\theta }^{nc}$ 为 $\theta$ 的增函数，故应取满足约束条件的最大 $\theta$，即

$$\hat{\theta }=x_{(1)}.$$

(2) 似然函数为

$$L(\theta ,\mu )={\left(\frac{1}{\theta }\right)}^n\exp \left[-\frac{1}{\theta }\sum _{i=1}^n(x_i-\mu )\right],x_{(1)}>\mu .$$

其对数似然函数为

$$\ln L(\theta ,\mu )=-n\ln \theta -\frac{1}{\theta }\sum _{i=1}^n(x_i-\mu ).$$

由于 $\ln L(\theta ,\mu )$ 对 $\mu$ 为增函数，故应取满足约束条件的最大 $\mu$，即

$$\hat{\mu }=x_{(1)}.$$

再对 $\theta$ 求导并令其为 $0$，得

$$-\frac{n}{\theta }+\frac{{\sum }_{i=1}^n(x_i-\hat{\mu })}{{\theta }^2}=0,$$

所以

$$\hat{\theta }=\frac{1}{n}\sum _{i=1}^n(x_i-\hat{\mu })=\bar{x}-x_{(1)}.$$

(3) 似然函数为

$$L(\theta )={\left(\frac{1}{k\theta }\right)}^n{I}_{\{\theta <x_{(1)}\le x_{(n)}<(k+1)\theta \}}.$$

由于 ${\left(\frac{1}{k\theta }\right)}^n$ 是 $\theta$ 的减函数，故要使 $L(\theta )$ 达到最大，应在满足

$$\frac{x_{(n)}}{k+1}<\theta <x_{(1)}$$

的条件下取最小的 $\theta$，因此

$$\hat{\theta }=\frac{x_{(n)}}{k+1}.$$

习题 6.3-3

试求下列未知参数的最大似然估计：

1. $p(x;\theta )=\frac{1}{2\theta }{e}^{-|x|/\theta },\theta >0;$
2. $p(x;\theta )=1,\theta -\frac{1}{2}<x<\theta +\frac{1}{2};$
3. $p(x;{\theta }_1,{\theta }_2)=\frac{1}{{\theta }_2-{\theta }_1},{\theta }_1<x<{\theta }_2.$

解 (1) 似然函数

$$L(\theta )={\left(\frac{1}{2\theta }\right)}^n{e}^{-{\sum }_{i=1}^n|x_i|/\theta },$$

其对数似然函数为

$$\ln L(\theta )=-n\ln (2\theta )-\frac{1}{\theta }\sum _{i=1}^n|x_i|.$$

对 $\theta$ 求导并令其为 $0$，得

$$-\frac{n}{\theta }+\frac{{\sum }_{i=1}^n|x_i|}{{\theta }^2}=0,$$

故

$$\hat{\theta }=\frac{1}{n}\sum _{i=1}^n|x_i|.$$

又

$${\frac{{\partial }^2\ln L(\theta )}{\partial {\theta }^2}|}_{\hat{\theta }}=-\frac{n^3}{{\left({\sum }_{i=1}^n|x_i|\right)}^2}<0,$$

故 $\hat{\theta }$ 为最大似然估计。

(2) 似然函数为

$$L(\theta )=I_{\{\theta -\frac{1}{2}<x_{(1)}\le x_{(n)}<\theta +\frac{1}{2}\}}.$$

于是只要

$$x_{(n)}-\frac{1}{2}<\theta <x_{(1)}+\frac{1}{2},$$

似然函数就取值为 $1$。故该模型的最大似然估计不唯一，上述区间内任一值均为最大似然估计。

(3) 似然函数为

$$L({\theta }_1,{\theta }_2)=\frac{1}{({\theta }_2-{\theta }_1{)}^n}{I}_{\{{\theta }_1<x_{(1)}\le x_{(n)}<{\theta }_2\}}.$$

为使 $L({\theta }_1,{\theta }_2)$ 达到最大，应在使指示函数为 $1$ 的条件下令区间长度 ${\theta }_2-{\theta }_1$ 最小，故有

$${\hat{\theta }}_1=x_{(1)},{\hat{\theta }}_2=x_{(n)}.$$

习题 6.3-4

某地质学家在某地区取了 $100$ 个岩石样品，每个样品有 $10$ 块石子。下面记录了每个样品中石灰石的块数，试求石灰石比例 $p$ 的最大似然估计：

$$\begin{array}{cccccccccccc}\text{样本中的石子数}& 0& 1& 2& 3& 4& 5& 6& 7& 8& 9& 10\\ \text{样品个数}& 0& 1& 6& 7& 23& 26& 21& 12& 3& 1& 0\end{array}$$

解 设 $X$ 表示一个样品中石灰石的块数，则

$$X\sim b(10,p),p(X=x)=\left(\genfrac{}{}{0ex}{}{10}{x}\right)p^x(1-p{)}^{10-x}.$$

若 $x_1,x_2,\cdots ,x_{100}$ 为样本，则其似然函数为（忽略常数）

$$L(p)=p^{{\sum }_{i=1}^{100}{x}_i}(1-p{)}^{10\times 100-{\sum }_{i=1}^{100}{x}_i}.$$

对数似然函数为

$$\ln L(p)=\sum _{i=1}^{100}{x}_i\ln p+\left(10\times 100-\sum _{i=1}^{100}{x}_i\right)\ln (1-p).$$

将对数似然函数关于 $p$ 求导并令其为 $0$，得到似然方程

$$\frac{\partial \ln L(p)}{\partial p}=\frac{{\sum }_{i=1}^{100}{x}_i}{p}-\frac{10\times 100-{\sum }_{i=1}^{100}{x}_i}{1-p}=0,$$

解之得

$$\hat{p}=\frac{{\sum }_{i=1}^{100}{x}_i}{1000}.$$

由于

$$\frac{{\partial }^2\ln L(p)}{\partial p^2}=-\frac{{\sum }_{i=1}^{100}{x}_i}{p^2}-\frac{1000-{\sum }_{i=1}^{100}{x}_i}{(1-p{)}^2}<0,$$

由二阶导数的性质知，$p$ 的最大似然估计为

$$\hat{p}=\frac{{\sum }_{i=1}^{100}{x}_i}{1000}=\frac{499}{1000}=\mathrm{0.499.}$$

习题 6.3-5

在遗传学研究中经常要从截尾二项分布中抽样，其总体概率函数为

$$P(X=k;p)=\frac{\left(\genfrac{}{}{0ex}{}{m}{k}\right)p^k(1-p{)}^{m-k}}{1-(1-p{)}^m},k=1,2,\cdots ,m.$$

若已知 $m=2$，$x_1,x_2,\cdots ,x_n$ 是样本，试求 $p$ 的最大似然估计。

解 当 $m=2$ 时，该截尾二项分布只能取 $1$ 与 $2$。不妨设 $x_1,x_2,\cdots ,x_n$ 的样本中有 $n_1$ 个 $x_i$ 为 $1$，有 $n-n_1$ 个 $x_i$ 为 $2$，则其似然函数为（忽略常数）

$$\begin{array}{rl}L(p)& =\frac{p^{n_1}(1-p{)}^{n_1}{p}^{2(n-n_1)}}{[1-(1-p{)}^2{]}^n}\\ & =\frac{p^{2n-n_1}(1-p{)}^{n_1}}{[1-(1-p{)}^2{]}^n}\\ & =\frac{p^{n-n_1}(1-p{)}^{n_1}}{(2-p{)}^n}.\end{array}$$

对数似然函数为

$$\ln L(p)=(n-n_1)\ln p+n_1\ln (1-p)-n\ln (2-p).$$

将对数似然函数关于 $p$ 求导并令其为 $0$，得到似然方程

$$\frac{n-n_1}{p}-\frac{n_1}{1-p}+\frac{n}{2-p}=0,$$

解之得

$$\hat{p}=\frac{2(n-n_1)}{2n-n_1}.$$

又由于

$$\sum _{i=1}^n{x}_i=n_1+2(n-n_1)=n\bar{x},$$

故

$$n_1=2n-n\bar{x},$$

代入上式即得

$$\hat{p}=\frac{2(n-n_1)}{2n-n_1}=\frac{2(\bar{x}-1)}{\bar{x}}.$$

习题 6.3-6

已知在文学家萧伯纳的《The Intelligent Woman’s Guide To Socialism and Capitalism》一书中，一个句子的单词数 $X$ 近似地服从对数正态分布，即

$$Z=\ln X\sim N(\mu ,{\sigma }^2).$$

今从该书中随机地取 $20$ 个句子，这些句子中的单词数分别为

$$52,24,15,67,15,22,63,26,16,32,$$ $$7,33,28,14,7,29,10,6,59,30.$$

求该书中一个句子单词数均值

$$E(X)=e^{\mu +{\sigma }^2/2}$$

的最大似然估计。

解 正态分布 $N(\mu ,{\sigma }^2)$ 的参数的最大似然估计分别为样本均值和方差，即

$$\hat{\mu }=\frac{1}{20}\sum _{i=1}^{20}\ln x_i=3.0890,{\hat{\sigma }}^2=\frac{1}{n}\sum _{i=1}^n(\ln x_i-3.0890{)}^2=\mathrm{0.5081.}$$

由于最大似然估计具有不变性，因而

$$E(X)=e^{\mu +{\sigma }^2/2}$$

的最大似然估计为

$$\widehat{E(X)}=e^{3.0890+0.5081/2}=\mathrm{28.3053.}$$

习题 6.3-7

总体 $X\sim U(\theta ,2\theta )$，其中 $\theta >0$ 是未知参数，$x_1,x_2,\cdots ,x_n$ 为取自该总体的样本，$\bar{x}$ 为样本均值。

1. 证明

$$\hat{\theta }=\frac{2}{3}\bar{x}$$

是参数 $\theta$ 的无偏估计和相合估计；

1. 求 $\theta$ 的最大似然估计，它是无偏估计吗？是相合估计吗？

解 (1) 总体 $X\sim U(\theta ,2\theta )$，则

$$E(X)=\frac{3\theta }{2},\mathrm{Var}(X)=\frac{{\theta }^2}{12},$$

从而

$$E(\bar{x})=\frac{3\theta }{2},\mathrm{Var}(\bar{x})=\frac{{\theta }^2}{12n}.$$

于是

$$E(\hat{\theta })=\frac{2}{3}E(\bar{x})=\theta ,$$

这说明 $\hat{\theta }=\frac{2}{3}\bar{x}$ 是参数 $\theta$ 的无偏估计。进一步，

$$\mathrm{Var}(\hat{\theta })=\frac{4}{9}\times \frac{{\theta }^2}{12n}=\frac{{\theta }^2}{27n}\to 0.$$

这就证明了 $\hat{\theta }$ 也是 $\theta$ 的相合估计。

(2) 似然函数为

$$L(\theta )={\left(\frac{1}{\theta }\right)}^n{I}_{\{\theta <x_{(1)}\le x_{(n)}<2\theta \}},$$

显然 $L(\theta )$ 是 $\theta$ 的减函数，且 $\theta$ 的取值范围为

$$\frac{x_{(n)}}{2}<\theta <x_{(1)},$$

因而 $\theta$ 的最大似然估计为

$$\hat{\theta }=\frac{x_{(n)}}{2}.$$

下求 $\hat{\theta }$ 的均值与方差。由于 $x_{(n)}$ 的密度函数为

$$f(x)=n{\left(\frac{x-\theta }{\theta }\right)}^{n-1}\cdot \frac{1}{\theta }=\frac{n}{{\theta }^n}(x-\theta {)}^{n-1},\theta <x<2\theta ,$$

故

$$E\left(x_{(n)}\right)={\int }_{\theta }^{2\theta }x\frac{n}{{\theta }^n}(x-\theta {)}^{n-1}dx=\frac{n}{{\theta }^n}{\int }_0^{\theta }(t+\theta )t^{n-1}dt=\frac{2n+1}{n+1}\theta ,$$ $$E\left(x_{(n)}^2\right)={\int }_{\theta }^{2\theta }{x}^2\frac{n}{{\theta }^n}(x-\theta {)}^{n-1}dx=\frac{4n^2+8n+2}{(n+2)(n+1)}{\theta }^2,$$

从而

$$\mathrm{Var}\left(x_{(n)}\right)=\frac{n{\theta }^2}{(n+2)(n+1{)}^2}.$$

于是

$$E(\hat{\theta })=\frac{1}{2}E\left(x_{(n)}\right)=\frac{2n+1}{2(n+1)}\theta \to \theta (n\to \infty ),$$

这说明 $\hat{\theta }$ 不是 $\theta$ 的无偏估计，而是 $\theta$ 的渐近无偏估计。又

$$\mathrm{Var}(\hat{\theta })=\frac{1}{4}\mathrm{Var}\left(x_{(n)}\right)=\frac{n{\theta }^2}{4(n+1{)}^2(n+2)}\to 0(n\to \infty ),$$

因而 $\hat{\theta }$ 是 $\theta$ 的相合估计。

习题 6.3-8

设 $x_1,x_2,\cdots ,x_n$ 是来自密度函数为

$$p(x;\theta )=e^{-(x-\theta )},x>\theta$$

的总体的样本。

1. 求 $\theta$ 的最大似然估计 ${\hat{\theta }}_1$，它是否是相合估计？是否是无偏估计？
2. 求 $\theta$ 的矩估计 ${\hat{\theta }}_2$，它是否是相合估计？是否是无偏估计？

解 (1) 似然函数为

$$L(\theta )=\prod _{i=1}^n\{e^{-(x_i-\theta )}{I}_{\{x_i>\theta \}}\}=\exp \left\{-\sum _{i=1}^n{x}_i+n\theta \right\}{I}_{\{x_{(1)}>\theta \}}.$$

显然 $L(\theta )$ 在示性函数为 $1$ 的条件下是 $\theta$ 的严增函数，因此 $\theta$ 的最大似然估计为

$${\hat{\theta }}_1=x_{(1)}.$$

又 $x_{(1)}$ 的密度函数为

$$f(x)=n{e}^{-n(x-\theta )},x>\theta ,$$

故

$$E({\hat{\theta }}_1)={\int }_{\theta }^{\infty }xn{e}^{-n(x-\theta )}dx={\int }_0^{\infty }(t+\theta )n{e}^{-nt}dt=\frac{1}{n}+\theta ,$$

因此 ${\hat{\theta }}_1$ 不是 $\theta$ 的无偏估计，但是 $\theta$ 的渐近无偏估计。由于

$$E({\hat{\theta }}_1^2)={\int }_{\theta }^{\infty }{x}^{2}n{e}^{-n(x-\theta )}dx={\int }_0^{\infty }(t^2+2\theta t+{\theta }^2)n{e}^{-nt}dt=\frac{2}{n^2}+\frac{2\theta }{n}+{\theta }^2,$$

从而

$$\mathrm{Var}({\hat{\theta }}_1)=\frac{2}{n^2}+\frac{2\theta }{n}+{\theta }^2-{\left(\frac{1}{n}+\theta \right)}^2=\frac{1}{n^2}\to 0.$$

这说明 ${\hat{\theta }}_1$ 是 $\theta$ 的相合估计。

(2) 由于

$$E(X)={\int }_{\theta }^{\infty }x{e}^{-(x-\theta )}dx=\theta +1,$$

这给出 $\theta =E(X)-1$，所以 $\theta$ 的矩估计为

$${\hat{\theta }}_2=\bar{x}-1.$$

又

$$E(X^2)={\int }_{\theta }^{\infty }{x}^2{e}^{-(x-\theta )}dx={\theta }^2+2\theta +2,$$

所以

$$\mathrm{Var}(X)=1.$$

从而有

$$E({\hat{\theta }}_2)=E(\bar{x})-1=\theta ,\mathrm{Var}({\hat{\theta }}_2)=\frac{1}{n}\mathrm{Var}(X)=\frac{1}{n}\to 0(n\to \infty ).$$

这说明 ${\hat{\theta }}_2$ 既是 $\theta$ 的无偏估计，也是相合估计。

习题 6.3-9

为了估计湖中有多少条鱼，从中捞出 $1000$ 条，标上记号后放回湖中，然后再捞出 $150$ 条鱼，发现其中有 $10$ 条鱼有记号。问湖中有多少条鱼，才能使 $150$ 条鱼中出现 $10$ 条带记号的鱼的概率最大？

解 设第二次捞出的带有记号的鱼的数目为 $X$，则 $X$ 服从超几何分布，$150$ 条鱼中出现 $10$ 条带记号鱼的概率

$$P(X=10)=\frac{\left(\genfrac{}{}{0ex}{}{1000}{10}\right)\left(\genfrac{}{}{0ex}{}{N-1000}{140}\right)}{\left(\genfrac{}{}{0ex}{}{N}{150}\right)},$$

其中 $N$ 表示湖中的鱼的条数，是未知参数。似然函数为

$$L(N;10)=\frac{\left(\genfrac{}{}{0ex}{}{1000}{10}\right)\left(\genfrac{}{}{0ex}{}{N-1000}{140}\right)}{\left(\genfrac{}{}{0ex}{}{N}{150}\right)}.$$

考察相邻两项比值

$$\begin{array}{rl}A(N,10)& =\frac{L(N;10)}{L(N-1;10)}\\ & =\frac{(N-1000)(N-150)}{N(N-1000-140)}\\ & =\frac{(N-1000)(N-150)}{N(N-1140)}.\end{array}$$

当且仅当 $N<15000$ 时，$A(N,10)>1$；当且仅当 $N>15000$ 时，$A(N,10)<1$，因此只有在 $N=15000$ 时，$L(N;10)$ 达到最大。这里的

$$\hat{N}=15000$$

即为湖中鱼数的最大似然估计。

习题 6.3-10

证明：对正态分布 $N(\mu ,{\sigma }^2)$，若只有一个观测值，则 ${\sigma }^2$ 的最大似然估计不存在。

解 在只有一个观测值场合，对数似然函数为

$$l(\mu ,{\sigma }^2;x)=-\ln (\sqrt{2\pi }\sigma )-\frac{(x-\mu {)}^2}{2{\sigma }^2}.$$

当取 $\mu =x$ 且 $\sigma \to 0$ 时，该函数趋于 $\infty$。这说明该函数没有最大值，或者说极大值无法实现，从而 ${\sigma }^2$ 的最大似然估计不存在。

补充习题及解答

补充习题 11

若总体 $X$ 服从如下柯西分布：

$$p(x)=\frac{1}{\pi [1+(x-\mu {)}^2]},-\infty <x<\infty ,$$

而 $x_1,x_2,\cdots ,x_n$ 是它的一个样本，试求 $\mu$ 的估计量。

解 由于柯西分布的数学期望不存在，因此不能用一阶矩法估计得到 $\mu$ 的估计量。但注意到 $\mu$ 是该总体分布的中位数，因此，若用替换原理，可以给出 $\mu$ 的一个矩估计为

$$\hat{\mu }=m_{0.5}.$$

若用最小二乘法（见第八章），即使

$$\sum _{i=1}^n(x_i-\mu {)}^2$$

最小，则得 $\hat{\mu }=\bar{x}$，很难说这是 $\mu$ 的一个合适的估计量，因为这时无偏性、有效性都失去意义，而且 $\bar{x}$ 与 $x_1$ 同分布（读者自行验证），说明 $\bar{x}$ 也没有起到汇集 $\mu$ 的信息的作用，因而，这个估计量的相合性也就无从谈起。

我们转而讨论 $\mu$ 的最大似然估计。其似然函数为

$$L(\mu )=\prod _{i=1}^n\frac{1}{\pi [1+(x_i-\mu {)}^2]},$$

其对数似然函数为

$$\ln L(\mu )=-n\ln \pi -\sum _{i=1}^n\ln (1+(x_i-\mu {)}^2).$$

对 $\mu$ 求导并令其为 $0$ 可得对数似然方程

$$\sum _{i=1}^n\frac{x_i-\mu }{1+(x_i-\mu {)}^2}=0.$$

这个方程只能求数值解，比如用牛顿迭代法。由于 $\mu$ 是总体分布的中位数，因此可以用样本中位数 $m_{0.5}$ 作为迭代的初值，求所得的这个数值解即为 $\mu$ 的最大似然估计。从似然角度看，该方法得到的估计要比样本中位数估计更好些。

补充习题 12

一个罐子里装有黑球和白球，有放回地抽取一个容量为 $n$ 的样本，其中有 $k$ 个白球，求罐子里黑球数和白球数之比 $R$ 的最大似然估计。

解 解法一 记 $p$ 为罐子中白球的比例，令 $x_i$ 表示第 $i$ 次有放回抽样所得的白球数，则

$$x_i\sim b(1,p),i=1,2,\cdots ,n,$$

故 $p$ 的最大似然估计为

$$\hat{p}=\bar{x}.$$

因为黑球数与白球数比值

$$R=\frac{n(1-p)}{np}=\frac{1-p}{p},$$

根据最大似然估计的不变性，有

$$\hat{R}=\frac{1-\hat{p}}{\hat{p}}=\frac{1-\bar{x}}{\bar{x}}.$$

对具体的样本值，即 $n$ 个中抽到 $k$ 个白球来讲，$R$ 的最大似然估计为

$$\hat{R}=\frac{n-k}{k}.$$

解法二 设罐子里有白球 $l$ 个，则有黑球 $Rl$ 个，从而罐中共有 $(1+R)l$ 个球。从中有放回地抽一个球为白球的概率为

$$\frac{l}{(1+R)l}=\frac{1}{1+R}.$$

从罐中有放回地抽 $n$ 个球，可视为从二点分布

$$\begin{array}{ccc}x& 0\text{（黑球）}& 1\text{（白球）}\\ p& \frac{R}{1+R}& \frac{1}{1+R}\end{array}$$

中抽取一个样本容量为 $n$ 的样本。当样本中有 $k$ 个白球时，似然函数为

$$L(R)={\left(\frac{1}{1+R}\right)}^k{\left(\frac{R}{1+R}\right)}^{n-k}=\frac{R^{n-k}}{(1+R{)}^n}.$$

其对数似然函数为

$$\ln L(R)=(n-k)\ln R-n\ln (1+R),$$

将对数似然函数对 $R$ 求导，并令其为 $0$，得似然方程

$$\frac{n-k}{R}-\frac{n}{1+R}=0,$$

解之可得

$$\hat{R}=\frac{n}{k}-1.$$

由于其对数似然函数的二阶导数为

$${\frac{{\partial }^2\ln L(R)}{\partial R^2}|}_{\hat{R}}={\left[-\frac{n-k}{R^2}+\frac{n}{(1+R{)}^2}\right]}_{\hat{R}}=-\frac{k^3}{n(n-k)}<0,$$

所以

$$\hat{R}=\frac{n}{k}-1$$

是 $R$ 的最大似然估计。

譬如，在 $n=10,k=2$ 场合，$R$ 的最大似然估计

$$\hat{R}=\frac{10}{2}-1=4,$$

即罐中黑球数与白球数之比的最大似然估计为 $4$，即白球 $1$ 个、黑球 $4$ 个，或者白球 $2$ 个、黑球 $8$ 个等。

补充习题 13

设 $x_1,x_2,\cdots ,x_m$ 和 $y_1,y_2,\cdots ,y_n$ 分别为来自总体 $N({\mu }_1,{\sigma }^2)$ 和 $N({\mu }_2,{\sigma }^2)$ 的两个独立样本，试求

$$\theta =({\mu }_1,{\mu }_2,{\sigma }^2)$$

的最大似然估计。

解 合样本的似然函数为

$$L={\left(\frac{1}{\sqrt{2\pi }\sigma }\right)}^{m+n}\exp \left\{-\frac{1}{2{\sigma }^2}\sum _{i=1}^m(x_i-{\mu }_1{)}^2-\frac{1}{2{\sigma }^2}\sum _{i=1}^n(y_i-{\mu }_2{)}^2\right\},$$

对数似然函数为

$$l=\ln L=-\frac{m+n}{2}\ln (2\pi {\sigma }^2)\left[-\frac{1}{2{\sigma }^2}\sum _{i=1}^m(x_i-{\mu }_1{)}^2-\frac{1}{2{\sigma }^2}\sum _{i=1}^n(y_i-{\mu }_2{)}^2\right].$$

将对数似然函数对 ${\mu }_1,{\mu }_2,{\sigma }^2$ 分别求导并令其为 $0$（忽略常数），得

$${\frac{\partial l}{\partial {\mu }_1}|}_{{\hat{\mu }}_1}=\sum _{i=1}^m(x_i-{\hat{\mu }}_1)=0,{\frac{\partial l}{\partial {\mu }_2}|}_{{\hat{\mu }}_2}=\sum _{i=1}^n(y_i-{\hat{\mu }}_2)=0,$$ $${\frac{\partial l}{\partial {\sigma }^2}|}_{{\hat{\mu }}_1,{\hat{\mu }}_2,{\hat{\sigma }}^2}=-\frac{m+n}{2{\hat{\sigma }}^2}+\frac{1}{2{\hat{\sigma }}^4}\left[\sum _{i=1}^m(x_i-{\hat{\mu }}_1{)}^2+\sum _{i=1}^n(y_i-{\hat{\mu }}_2{)}^2\right]=0.$$

由此得到 ${\mu }_1,{\mu }_2,{\sigma }^2$ 的最大似然估计为

$${\hat{\mu }}_1=\bar{x},{\hat{\mu }}_2=\bar{y},$$ $${\hat{\sigma }}^2=\frac{\sum _{i=1}^m(x_i-\bar{x}{)}^2+\sum _{i=1}^n(y_i-\bar{y}{)}^2}{m+n}.$$

补充习题 14

某批产品含有 $N$ 件，其中 $M$ 件为不合格品，现从中随机抽取 $n$ 件中有 $X$ 件不合格品，则 $X$ 服从超几何分布，即

$$P(X=x)=\frac{\left(\genfrac{}{}{0ex}{}{M}{x}\right)\left(\genfrac{}{}{0ex}{}{N-M}{n-x}\right)}{\left(\genfrac{}{}{0ex}{}{N}{n}\right)},x=1,2,\cdots ,\min \{M,n\}.$$

假如 $N$ 与 $n$ 已知，寻求该批产品中不合格品数 $M$ 的最大似然估计。

解 记未知参数 $M$ 的似然函数为

$$L(M;x)=P(X=x).$$

考察似然比

$$\begin{array}{rl}\frac{L(M+1,x)}{L(M,x)}& =\frac{\left(\genfrac{}{}{0ex}{}{M+1}{x}\right)\left(\genfrac{}{}{0ex}{}{N-M-1}{n-x}\right)}{\left(\genfrac{}{}{0ex}{}{M}{x}\right)\left(\genfrac{}{}{0ex}{}{N-M}{n-x}\right)}\\ & =\frac{M+1}{M+1-x}\cdot \frac{N-M-n+x}{N-M}.\end{array}$$

要使似然比

$$\frac{L(M+1,x)}{L(M,x)}\ge 1,$$

必导致

$$(M+1)(N-M-n+x)\ge (M+1-x)(N-M).$$

化简此式可得

$$M\le \frac{x}{n}(N+1)-1\stackrel{\mathrm{def}}{=}{M}_0,$$

这表明：当 $M_0$ 为整数和 $M\le M_0$ 时，似然函数 $L(M,x)$ 是 $M$ 的增函数，即

$$L(0,x)\le L(1,x)\le \cdots \le L(M_0,x)\le L(M_0+1,x).\text{\hspace{1em}(1)}$$

类似地，要使似然比

$$\frac{L(M+1,x)}{L(M,x)}\le 1,$$

必导致

$$M\ge \frac{x}{n}(N+1)-1=M_0,$$

这表明：当 $M_0$ 为整数且 $M\ge M_0$ 时，似然函数 $L(M,x)$ 是 $M$ 的减函数，即

$$L(M_0,x)\ge L(M_0+1,x)\ge \cdots \ge L(M,x).\text{\hspace{1em}(2)}$$

比较式 $(1)$ 和式 $(2)$ 可知，当 $M_0$ 为整数时，$M$ 的最大似然估计为 $\hat{M}=M_0$ 或 $M_0+1$；而当 $M_0$ 不为整数时，$M$ 的最大似然估计为

$$\hat{M}=[M_0+1]=\left[\frac{x}{n}(N+1)\right],$$

其中 $[a]$ 为不超过 $a$ 的最大整数。综合上述，$M$ 的最大似然估计为

$$\hat{M}=\{\begin{array}{ll}\frac{x}{n}(N+1)-1\text{ 或 }\frac{x}{n}(N+1),& \frac{x}{n}(N+1)\text{ 为整数},\\ \left[\frac{x}{n}(N+1)\right],& \frac{x}{n}(N+1)\text{ 不为整数}.\end{array}$$

譬如，在 $N=19,n=5,x=2$ 场合，

$$M_0=\frac{x}{n}(N+1)-1=\frac{2}{5}\times (19+1)-1=7,$$

由于 $M_0$ 为整数，故 $M$ 的最大似然估计为 $7$ 或 $8$。下面以实际计算加以佐证，几个

$$L(M,2)=P(X=2)$$

如下表所示：

$$\begin{array}{cccccc}M& 6& 7& 8& 9& 10\\ L(M,2)& 0.3689& 0.3973& 0.3973& 0.3715& 0.3251\end{array}$$

可见 $M$ 取 $7$ 或 $8$ 可使似然函数达到最大。

又如，在 $N=16,n=5,x=2$ 场合，

$$M_0=\frac{x}{n}(N+1)-1=\frac{2}{5}\times (16+1)-1=5.8$$

（不为整数），这时 $M$ 的最大似然估计

$$\hat{M}=[M_0+1]=[5.8+1]=6.$$

实际计算表明

$$\begin{array}{ccccc}M& 5& 6& 7& 8\\ L(M,2)& 0.3777& 0.4121& 0.4038& 0.359\end{array}$$

可见 $M$ 取 $6$ 可使似然函数达到最大。