§6.5 贝叶斯估计

依赖于

• 无显式依赖

被以下题目直接调用

• 无

正文部分

§6.5 贝叶斯估计

1. 贝叶斯统计推断使用的三种信息
2. 总体信息，总体分布或总体所属分布族提供的信息；
3. 样本信息，从总体中抽取样本所得观测值提供的信息；
4. 先验信息，在试验前人们对要做的问题在经验上和资料上所了解的信息。
5. 贝叶斯统计的基本观点 任一未知量 $\theta$ 都可看作随机变量，用一个概率分布来描述 $\theta$ 是最好的办法，在获得样本以前这个分布称为先验分布；在获得样本以后，这个分布称为后验分布。
6. 贝叶斯公式的密度函数形式
7. 总体依赖于参数 $\theta$ 的概率函数在贝叶斯统计中记为 $p(x\mid \theta )$，它表示在随机变量 $\theta$ 取某个给定值时总体的条件概率函数；
8. 根据参数 $\theta$ 的先验信息设法确定先验分布 $\pi (\theta )$；
9. 从贝叶斯观点看，样本 $x_1,x_2,\cdots ,x_n$ 的产生分两步进行。首先从先验分布 $\pi (\theta )$ 产生一个样本 ${\theta }_0$，然后从 $p(x_1,x_2,\cdots ,x_n\mid {\theta }_0)$ 中产生一组样本。这时样本的联合条件概率函数为

$$p(x_1,x_2,\cdots ,x_n\mid {\theta }_0)=\prod _{i=1}^{n}p(x_i\mid {\theta }_0),$$

这个分布综合了总体信息和样本信息；

1. ${\theta }_0$ 是不可知的，它是按先验分布 $\pi (\theta )$ 产生的。为把先验信息综合进去，不能只考虑 ${\theta }_0$，对 $\theta$ 的其他值发生的可能性也要加以考虑，故要用 $\pi (\theta )$ 进行综合。这样一来，样本 $x_1,x_2,\cdots ,x_n$ 和参数 $\theta$ 的联合分布为

$$h(x_1,x_2,\cdots ,x_n,\theta )=p(x_1,x_2,\cdots ,x_n\mid \theta )\cdot \pi (\theta ),$$

这个联合分布把总体信息、样本信息和先验信息三种可用信息都综合进去了；

1. 分析的目的是要对未知参数 $\theta$ 作统计推断。在没有样本信息时，人们只能依据先验分布对 $\theta$ 作出推断；在有了样本观测值 $x_1,x_2,\cdots ,x_n$ 之后，则应依据 $h(x_1,x_2,\cdots ,x_n,\theta )$ 对 $\theta$ 作出推断。由于

$$h(x_1,x_2,\cdots ,x_n,\theta )=\pi (\theta \mid x_1,x_2,\cdots ,x_n)m(x_1,x_2,\cdots ,x_n),$$

其中

$$m(x_1,x_2,\cdots ,x_n)={\int }_{\Theta }h(x_1,x_2,\cdots ,x_n,\theta )\mathrm{d}\theta ={\int }_{\Theta }p(x_1,x_2,\cdots ,x_n\mid \theta )\pi (\theta )\mathrm{d}\theta$$

是 $x_1,x_2,\cdots ,x_n$ 的边际概率函数，它与 $\theta$ 无关，不含 $\theta$ 的任何信息。因此能用来对 $\theta$ 作出推断的仅是条件分布 $\pi (\theta \mid x_1,x_2,\cdots ,x_n)$，它的计算公式是

$$\pi (\theta \mid x_1,x_2,\cdots ,x_n)=\frac{h(x_1,x_2,\cdots ,x_n,\theta )}{m(x_1,x_2,\cdots ,x_n)}=\frac{p(x_1,x_2,\cdots ,x_n\mid \theta )\pi (\theta )}{{\int }_{\Theta }p(x_1,x_2,\cdots ,x_n\mid \theta )\pi (\theta )\mathrm{d}\theta }.$$

这个条件分布称为 $\theta$ 的后验分布，它集中了总体、样本和先验中有关 $\theta$ 的一切信息。后验分布 $\pi (\theta \mid x_1,x_2,\cdots ,x_n)$ 的计算公式就是用密度函数表示的贝叶斯公式。它是用总体和样本对先验分布 $\pi (\theta )$ 作调整的结果，贝叶斯统计的一切推断都基于后验分布进行。

1. 贝叶斯估计 基于后验分布 $\pi (\theta \mid x_1,x_2,\cdots ,x_n)$ 对 $\theta$ 所作的贝叶斯估计有多种，常用有如下三种：
2. 使用后验分布的密度函数最大值作为 $\theta$ 的点估计，称为最大后验估计；
3. 使用后验分布的中位数作为 $\theta$ 的点估计，称为后验中位数估计；
4. 使用后验分布的均值作为 $\theta$ 的点估计，称为后验期望估计。这是使用最为频繁的贝叶斯估计。

在不注明的情况下，通常提到的贝叶斯估计指后验期望估计。

1. 共轭先验分布 设 $\theta$ 是总体分布中的参数，$\pi (\theta )$ 是其先验分布，若对任意的样本观测值得到的后验分布 $\pi (\theta \mid X)$ 与 $\pi (\theta )$ 属于同一个分布族，则称该分布族是 $\theta$ 的共轭先验分布（族）。
2. 二项分布 $b(n,\theta )$ 中的成功概率 $\theta$ 的共轭先验分布是贝塔分布 $Be(a,b)$；
3. 泊松分布 $P(\theta )$ 中的均值 $\theta$ 的共轭先验分布是伽马分布 $Ga(\alpha ,\lambda )$；
4. 在方差已知时，正态均值 $\theta$ 的共轭先验分布是正态分布 $N(\mu ,{\tau }^2)$；
5. 在均值已知时，正态方差 ${\sigma }^2$ 的共轭先验分布是倒伽马分布 $IGa(\alpha ,\lambda )$（若 $X\sim Ga(\alpha ,\lambda )$，则 $X^{-1}$ 的分布称为倒伽马分布 $IGa(\alpha ,\lambda )$）。
6. 超参数 先验分布中的未知参数称为超参数。应尽力对各种先验信息进行加工，获得超参数的估计。

习题与解答 6.5

习题 6.5-1

设一箱产品中的不合格品个数服从泊松分布 $P(\lambda )$，$\lambda$ 有两个可能取值：$1.5$ 和 $1.8$，且先验分布为

$$P(\lambda =1.5)=0.45,P(\lambda =1.8)=0.55,$$

现检查了一箱产品，发现有 $3$ 个不合格品，试求 $\lambda$ 的后验分布。

解

$$P(X=3\mid \lambda =1.5)=\frac{1.5^3}{3!}{e}^{-1.5},P(X=3\mid \lambda =1.8)=\frac{1.8^3}{3!}{e}^{-1.8},$$

因此

$$P(X=3)=P(X=3\mid \lambda =1.5)P(\lambda =1.5)+P(X=3\mid \lambda =1.8)P(\lambda =1.8)$$ $$=\frac{1.51875e^{-1.5}+3.2076e^{-1.8}}{6}.$$

由以上结果我们可以得到 $\lambda$ 的后验分布

$$P(\lambda =1.5\mid X=3)=\frac{P(X=3\mid \lambda =1.5)P(\lambda =1.5)}{P(X=3)}=\frac{1.51875e^{-1.5}}{1.51875e^{-1.5}+3.2076e^{-1.8}}=0.3899,$$ $$P(\lambda =1.8\mid X=3)=1-0.3899=\mathrm{0.6101.}$$

习题 6.5-2

设总体为均匀分布 $U(\theta ,\theta +1)$，$\theta$ 的先验分布是均匀分布 $U(10,16)$。现有三个观测值：$11.7,12.1,12.0$。求 $\theta$ 的后验分布。

解 当 $\theta <x_i<\theta +1$，$i=1,2,3$，$10<\theta <16$，即

$$10<\theta <x_{(1)}<x_{(3)}<\theta +1$$

时，$x_1,x_2,x_3,\theta$ 的联合分布为

$$h(x_1,x_2,x_3,\theta )=p(x_1,x_2,x_3\mid \theta )\pi (\theta )=\frac{1}{6},$$

其中 $\theta <x_{(1)}<x_{(3)}<\theta +1$ 或 $x_{(3)}-1<\theta <x_{(1)}$。此处观测值为 $x_{(1)}=11.7$，$x_{(3)}=12.1$，

$$11.1<\theta <11.7,$$

它位于区间 $(10,16)$ 内，故后验密度函数为

$$\pi (\theta \mid x_1,x_2,x_3)=\frac{h(x_1,x_2,x_3,\theta )}{{\int }_{11.1}^{11.7}h(x_1,x_2,x_3,\theta )\mathrm{d}\theta }=\frac{1/6}{{\int }_{11.1}^{11.7}(1/6)\mathrm{d}\theta }=\frac{1}{0.6},$$

即 $\theta$ 的后验分布为

$$U(11.1,11.7).$$

习题 6.5-3

设 $x_1,x_2,\cdots ,x_n$ 是来自几何分布的样本，总体分布列为

$$P(X=k\mid \theta )=\theta (1-\theta {)}^k,k=0,1,2,\cdots ,$$

$\theta$ 的先验分布是均匀分布 $U(0,1)$。

1. 求 $\theta$ 的后验分布；
2. 若 $4$ 次观测值为 $4,3,1,6$，求 $\theta$ 的贝叶斯估计。

解 **（1）**样本和 $\theta$ 的联合密度函数为

$$h(x_1,x_2,\cdots ,x_n,\theta )={\theta }^n(1-\theta {)}^{{\sum }_{i=1}^n{x}_i},$$

于是

$$\pi (\theta \mid x_1,x_2,\cdots ,x_n)=\frac{h(x_1,x_2,\cdots ,x_n,\theta )}{{\int }_0^{1}h(x_1,x_2,\cdots ,x_n,\theta )\mathrm{d}\theta }=\frac{{\theta }^n(1-\theta {)}^{{\sum }_{i=1}^n{x}_i}}{{\int }_0^1{\theta }^n(1-\theta {)}^{{\sum }_{i=1}^n{x}_i}\mathrm{d}\theta }$$ $$=\frac{\Gamma \left(n+{\sum }_{i=1}^n{x}_i+2\right)}{\Gamma (n+1)\Gamma \left({\sum }_{i=1}^n{x}_i+1\right)}{\theta }^n(1-\theta {)}^{{\sum }_{i=1}^n{x}_i},$$

因此，$\theta$ 的后验分布为

$$Be\left(n+1,\sum _{i=1}^n{x}_i+1\right).$$

**（2）**当有观测值为 $4,3,1,6$ 时，$\theta$ 的后验分布为

$$Be(5,15),$$

采用后验期望估计，则有

$${\hat{\theta }}_B=\frac{5}{5+15}=\mathrm{0.25.}$$

习题 6.5-4

验证：泊松分布的均值 $\lambda$ 的共轭先验分布是伽马分布。

解 泊松分布的概率函数为

$$P(X=x\mid \lambda )=\frac{{\lambda }^x}{x!}{e}^{-\lambda },$$

若 $\lambda$ 的先验分布为伽马分布 $Ga(\alpha ,\beta )$，其密度函数为

$$\pi (\lambda )=\frac{{\beta }^{\alpha }}{\Gamma (\alpha )}{\lambda }^{\alpha -1}{e}^{-\beta \lambda },$$

对来自泊松分布 $P(\lambda )$ 的样本 $x_1,x_2,\cdots ,x_n$，$\lambda$ 的后验分布为

$$\pi (\lambda \mid x_1,x_2,\cdots ,x_n)=\frac{\left({\prod }_{i=1}^n\frac{{\lambda }^{x_i}}{x_i!}{e}^{-\lambda }\right)\cdot \frac{{\beta }^{\alpha }}{\Gamma (\alpha )}{\lambda }^{\alpha -1}{e}^{-\beta \lambda }}{{\int }_0^{\infty }\left({\prod }_{i=1}^n\frac{{\lambda }^{x_i}}{x_i!}{e}^{-\lambda }\right)\cdot \frac{{\beta }^{\alpha }}{\Gamma (\alpha )}{\lambda }^{\alpha -1}{e}^{-\beta \lambda }\mathrm{d}\lambda }$$ $$=\frac{{\lambda }^{{\sum }_{i=1}^n{x}_i+\alpha -1}{e}^{-(\beta +n)\lambda }}{{\int }_0^{\infty }{\lambda }^{{\sum }_{i=1}^n{x}_i+\alpha -1}{e}^{-(\beta +n)\lambda }\mathrm{d}\lambda }$$ $$=\frac{(\beta +n{)}^{{\sum }_{i=1}^n{x}_i+\alpha }}{\Gamma \left({\sum }_{i=1}^n{x}_i+\alpha \right)}{\lambda }^{{\sum }_{i=1}^n{x}_i+\alpha -1}{e}^{-(\beta +n)\lambda },$$

即 $\lambda$ 的后验分布为

$$Ga\left(\sum _{i=1}^n{x}_i+\alpha ,\beta +n\right),$$

仍为伽马分布，这说明伽马分布是泊松分布的均值 $\lambda$ 的共轭先验分布。

习题 6.5-5

验证：正态总体方差（均值已知）的共轭先验分布是倒伽马分布（称 $X$ 服从倒伽马分布，如果 $1/x$ 服从伽马分布）。

解 设总体 $X\mid {\sigma }^2\sim N({\mu }_0,{\sigma }^2)$，其中 ${\mu }_0$ 已知，$x_1,x_2,\cdots ,x_n$ 为其样本，取 ${\sigma }^2$ 的先验分布为倒伽马分布 $IGa(\alpha ,\lambda )$，其密度函数为

$$\pi ({\sigma }^2)=\frac{{\lambda }^{\alpha }}{\Gamma (\alpha )}{\left(\frac{1}{{\sigma }^2}\right)}^{\alpha +1}{e}^{-\lambda /{\sigma }^2},{\sigma }^2>0,$$

则 ${\sigma }^2$ 的后验分布为

$$\pi ({\sigma }^2\mid x_1,x_2,\cdots ,x_n)=\frac{p(x_1,x_2,\cdots ,x_n\mid {\sigma }^2)\cdot \pi ({\sigma }^2)}{{\int }_0^{\infty }p(x_1,x_2,\cdots ,x_n\mid {\sigma }^2)\cdot \pi ({\sigma }^2)\mathrm{d}{\sigma }^2}$$ $$=\frac{(2\pi {\sigma }^2{)}^{-n/2}\exp \left\{-\frac{1}{2{\sigma }^2}{\sum }_{i=1}^n(x_i-{\mu }_0{)}^2\right\}\cdot \frac{{\lambda }^{\alpha }}{\Gamma (\alpha )}{\left(\frac{1}{{\sigma }^2}\right)}^{\alpha +1}{e}^{-\lambda /{\sigma }^2}}{{\int }_0^{\infty }(2\pi {\sigma }^2{)}^{-n/2}\exp \left\{-\frac{1}{2{\sigma }^2}{\sum }_{i=1}^n(x_i-{\mu }_0{)}^2\right\}\cdot \frac{{\lambda }^{\alpha }}{\Gamma (\alpha )}{\left(\frac{1}{{\sigma }^2}\right)}^{\alpha +1}{e}^{-\lambda /{\sigma }^2}\mathrm{d}{\sigma }^2}$$ $$=\frac{{\left(\frac{1}{{\sigma }^2}\right)}^{\alpha +\frac{n}{2}+1}\exp \left\{-\frac{1}{{\sigma }^2}\left[\lambda +\frac{1}{2}{\sum }_{i=1}^n(x_i-{\mu }_0{)}^2\right]\right\}}{{\int }_0^{\infty }{\left(\frac{1}{{\sigma }^2}\right)}^{\alpha +\frac{n}{2}+1}\exp \left\{-\frac{1}{{\sigma }^2}\left[\lambda +\frac{1}{2}{\sum }_{i=1}^n(x_i-{\mu }_0{)}^2\right]\right\}\mathrm{d}{\sigma }^2}$$ $$=\frac{{\left[\lambda +\frac{1}{2}{\sum }_{i=1}^n(x_i-{\mu }_0{)}^2\right]}^{\alpha +\frac{n}{2}}}{\Gamma \left(\alpha +\frac{n}{2}\right)}{\left(\frac{1}{{\sigma }^2}\right)}^{\alpha +\frac{n}{2}+1}\exp \left\{-\frac{1}{{\sigma }^2}\left[\lambda +\frac{1}{2}\sum _{i=1}^n(x_i-{\mu }_0{)}^2\right]\right\},$$

即

$${\sigma }^2\mid x_1,x_2,\cdots ,x_n\sim IGa\left(\alpha +\frac{n}{2},\lambda +\frac{1}{2}\sum _{i=1}^n(x_i-{\mu }_0{)}^2\right),$$

这就证明了倒伽马分布是正态总体方差（均值已知）的共轭先验分布。

习题 6.5-6

设 $x_1,x_2,\cdots ,x_n$ 是来自如下总体的一个样本

$$p(x\mid \theta )=\frac{2x}{{\theta }^2},0<x<\theta .$$

1. 若 $\theta$ 的先验分布为均匀分布 $U(0,1)$，求 $\theta$ 的后验分布；
2. 若 $\theta$ 的先验分布为 $\pi (\theta )=3{\theta }^2$，$0<\theta <1$，求 $\theta$ 的后验分布。

解 $x_1,x_2,\cdots ,x_n$ 的联合密度函数为

$$p(x_1,x_2,\cdots ,x_n\mid \theta )=\frac{2^n}{{\theta }^{2n}}\prod _{i=1}^n{x}_i{I}_{\{x_{(n)}<\theta \}}.$$

**（1）**对先验分布 $U(0,1)$，当 $x_{(n)}<\theta <1$ 时，后验分布为

$$\pi (\theta \mid x_1,x_2,\cdots ,x_n)=\frac{{\theta }^{-2n}}{{\int }_{x_{(n)}}^1{\theta }^{-2n}\mathrm{d}\theta }=\frac{2n-1}{{\theta }^{2n}(x_{(n)}^{-2n+1}-1)}.$$

**（2）**对该先验分布，当 $x_{(n)}<\theta <1$ 时，后验分布为

$$\pi (\theta \mid x_1,x_2,\cdots ,x_n)=\frac{{\theta }^{-2n+2}}{{\int }_{x_{(n)}}^1{\theta }^{-2n+2}\mathrm{d}\theta }=\frac{2n-3}{{\theta }^{2n-2}(x_{(n)}^{-2n+3}-1)}.$$

习题 6.5-7

设 $x_1,x_2,\cdots ,x_n$ 是来自如下总体的一个样本

$$p(x\mid \theta )=\theta x^{\theta -1},0<x<1.$$

若取 $\theta$ 的先验分布为伽马分布，即 $\theta \sim Ga(\alpha ,\lambda )$，求 $\theta$ 的后验期望估计。

解 $x_1,x_2,\cdots ,x_n$ 与 $\theta$ 的联合分布为

$$\begin{array}{rl}h(x_1,x_2,\cdots ,x_n,\theta )& ={\theta }^n\prod _{i=1}^n{x}_i^{\theta -1}\cdot \frac{{\lambda }^{\alpha }}{\Gamma (\alpha )}{\theta }^{\alpha -1}{e}^{-\lambda \theta }\\ & =\frac{{\lambda }^{\alpha }}{\Gamma (\alpha )}{\theta }^{n+\alpha -1}\exp \left\{-\theta \left(\lambda -\sum _{i=1}^n\ln x_i\right)\right\}\prod _{i=1}^n{x}_i^{-1}.\end{array}$$

于是 $\theta$ 的后验分布为

$$\pi (\theta \mid x_1,x_2,\cdots ,x_n)=\frac{h(x_1,x_2,\cdots ,x_n,\theta )}{\int h(x_1,x_2,\cdots ,x_n,\theta )\mathrm{d}\theta }$$ $$=\frac{{\left(\lambda -{\sum }_{i=1}^n\ln x_i\right)}^{n+\alpha }}{\Gamma (n+\alpha )}{\theta }^{n+\alpha -1}\exp \left\{-\theta \left(\lambda -\sum _{i=1}^n\ln x_i\right)\right\},$$

这是一个伽马分布

$$Ga\left(n+\alpha ,\lambda -\sum _{i=1}^n\ln x_i\right),$$

因而 $\theta$ 的后验期望估计为

$${\hat{\theta }}_B=\frac{n+\alpha }{\lambda -{\sum }_{i=1}^n\ln x_i}.$$

习题 6.5-8

设 $x_1,x_2,\cdots ,x_n$ 是来自均匀分布 $U(0,\theta )$ 的样本，$\theta$ 的先验分布是帕雷托分布，其密度函数为

$$\pi (\theta )=\frac{\beta {\theta }_0^{\beta }}{{\theta }^{\beta +1}},\theta >{\theta }_0,$$

其中 $\beta ,{\theta }_0$ 是两个已知的常数。

1. 验证：帕雷托分布是 $\theta$ 的共轭先验分布；
2. 求 $\theta$ 的贝叶斯估计。

解 （1）$x_1,x_2,\cdots ,x_n$ 与 $\theta$ 的联合分布为

$$h(x_1,x_2,\cdots ,x_n,\theta )=\frac{1}{{\theta }^n}\cdot \frac{\beta {\theta }_0^{\beta }}{{\theta }^{\beta +1}},\theta >{\theta }_0,x_{(n)}<\theta .$$

要使 $\theta >{\theta }_0$ 与 $\theta >x_{(n)}$ 同时成立，必须 $\theta >\max \{x_{(n)},{\theta }_0\}$，所以 $\theta$ 的后验分布为

$$\pi (\theta \mid x_1,x_2,\cdots ,x_n)=\frac{\frac{1}{{\theta }^n}\cdot \frac{\beta {\theta }_0^{\beta }}{{\theta }^{\beta +1}}}{{\int }_{\max \{x_{(n)},{\theta }_0\}}^{\infty }\frac{1}{{\theta }^n}\cdot \frac{\beta {\theta }_0^{\beta }}{{\theta }^{\beta +1}}\mathrm{d}\theta }=\frac{\frac{1}{{\theta }^{n+\beta +1}}}{{\int }_{\max \{x_{(n)},{\theta }_0\}}^{\infty }\frac{1}{{\theta }^{n+\beta +1}}\mathrm{d}\theta }$$ $$=\frac{(n+\beta )[\max \{x_{(n)},{\theta }_0\}{]}^{n+\beta }}{{\theta }^{n+\beta +1}},\theta >\max \{x_{(n)},{\theta }_0\}.$$

这是一个参数为 $n+\beta +1$ 与 $\max \{x_{(n)},{\theta }_0\}$ 的帕雷托分布，因此帕雷托分布是 $\theta$ 的共轭先验分布。

**（2）**若选用后验期望估计，则

$${\hat{\theta }}_B=\int \theta \cdot \pi (\theta \mid x_1,x_2,\cdots ,x_n)\mathrm{d}\theta ={\int }_{\max \{x_{(n)},{\theta }_0\}}^{\infty }\frac{(n+\beta )[\max \{x_{(n)},{\theta }_0\}{]}^{n+\beta }}{{\theta }^{n+\beta }}\mathrm{d}\theta$$ $$=\frac{(n+\beta )\max \{x_{(n)},{\theta }_0\}}{n+\beta -1}.$$

习题 6.5-9

设指数分布 $Exp(\theta )$ 中未知参数 $\theta$ 的先验分布为伽马分布 $Ga(\alpha ,\lambda )$，现从先验信息得知：先验均值为 $0.0002$，先验标准差为 $0.01$，试确定先验分布。

解 由于伽马分布 $Ga(\alpha ,\lambda )$ 的均值和方差分别为 $\alpha /\lambda ,\alpha /{\lambda }^2$，由已知条件，可建立如下方程组

$$\{\begin{array}{l}\frac{\alpha }{\lambda }=0.0002,\\ \sqrt{\frac{\alpha }{{\lambda }^2}}=0.01,\end{array}$$

解之得

$$\{\begin{array}{l}\alpha =0.0004,\\ \lambda =2,\end{array}$$

所以 $\theta$ 的先验分布为伽马分布 $Ga(0.0004,2)$。

习题 6.5-10

设 $x_1,x_2,\cdots ,x_n$ 为来自如下幂级数分布的样本，总体分布密度为

$$p(x;c,\theta )=c{x}^{c-1}{\theta }^{-c}{I}_{\{0\le x\le \theta \}}(c>0,\theta >0),$$

证明：

1. 若 $c$ 已知，则 $\theta$ 的共轭先验分布为帕雷托分布；
2. 若 $\theta$ 已知，则 $c$ 的共轭先验分布为伽马分布。

解 **（1）**当 $c$ 已知时，不妨取

$$\pi (\theta )=\alpha {\mu }^{\alpha }{\theta }^{-(\alpha +1)}{I}_{\{\theta \ge \mu \}},$$

其中 $\alpha \ge 1$ 和 $\mu >0$ 都已知，常记为 $PA(\alpha ,\mu )$。则在给出样本 $x=(x_1,x_2,\cdots ,x_n)$ 后 $\theta$ 的后验分布密度函数为

$$\pi (\theta \mid x)=\frac{p(x\mid \theta )\pi (\theta )}{{\int }_0^{\infty }p(x\mid \theta )\pi (\theta )\mathrm{d}\theta }$$ $$=\frac{c^n{\left({\prod }_{i=1}^n{x}_i\right)}^{c-1}{\theta }^{-nc}{I}_{\{\theta \ge x_{(n)}\}}\cdot \alpha {\mu }^{\alpha }{\theta }^{-(1+\alpha )}{I}_{\{\theta \ge \mu \}}}{{\int }_0^{\infty }{c}^n{\left({\prod }_{i=1}^n{x}_i\right)}^{c-1}{\theta }^{-nc}{I}_{\{\theta \ge x_{(n)}\}}\cdot \alpha {\mu }^{\alpha }{\theta }^{-(1+\alpha )}{I}_{\{\theta \ge \mu \}}\mathrm{d}\theta }$$ $$=\frac{{\theta }^{-nc}\cdot {\theta }^{-(1+\alpha )}{I}_{\{\theta \ge {\theta }_0\}}}{{\int }_0^{\infty }{\theta }^{-nc}\cdot {\theta }^{-(1+\alpha )}\mathrm{d}\theta }=(nc+\alpha ){\theta }_0^{nc+\alpha }{\theta }^{-(nc+\alpha +1)}{I}_{\{\theta \ge {\theta }_0\}},$$

其中

$${\theta }_0=\max \{x_{(n)},\mu \}.$$

因此，

$$\pi (\theta \mid x)\sim PA(nc+\alpha ,{\theta }_0),$$

所以当 $c$ 已知时帕雷托分布为 $\theta$ 的共轭先验分布。

**（2）**当 $\theta$ 已知时，不妨取

$$\pi (c)=\frac{{\lambda }^{\alpha }}{\Gamma (\alpha )}{e}^{-\lambda c}{c}^{\alpha -1}{I}_{\{c>0\}},$$

其中 $\alpha >0,\lambda >0$ 都已知。则给出样本

$$x=(x_1,x_2,\cdots ,x_n)$$

后 $c$ 的后验分布密度函数

$$\pi (c\mid x)=\frac{p(x\mid c)\pi (c)}{{\int }_0^{\infty }p(x\mid c)\pi (c)\mathrm{d}c}$$ $$=\frac{c^n{\left({\prod }_{i=1}^n{x}_i\right)}^{c-1}{\theta }^{-nc}\cdot e^{-\lambda c}{c}^{\alpha -1}}{{\int }_0^{\infty }{c}^n{\left({\prod }_{i=1}^n{x}_i\right)}^{c-1}{\theta }^{-nc}\cdot e^{-\lambda c}{c}^{\alpha -1}\mathrm{d}c}$$ $$=\frac{{\left(\lambda -{\sum }_{i=1}^n(\ln x_i-\ln \theta )\right)}^{n+\alpha }}{\Gamma (n+\alpha )}{c}^{n+\alpha -1}\exp \left\{-c\left[\lambda -\sum _{i=1}^n(\ln x_i-\ln \theta )\right]\right\}.$$

这说明

$$c\mid x\sim Ga\left(n+\alpha ,\lambda -\sum _{i=1}^n(\ln x_i-\ln \theta )\right),$$

证明完成。

习题 6.5-11

某人每天早上在汽车站等公共汽车的时间（单位：$\min$）服从均匀分布 $U(0,\theta )$，其中 $\theta$ 未知，假设 $\theta$ 的先验分布为

$$\pi (\theta )=\{\begin{array}{ll}192/{\theta }^4,& \theta \ge 4,\\ 0,& \theta <4,\end{array}$$

假如此人在三个早上等车的时间分别为 $5\min ,3\min ,8\min$，求 $\theta$ 的后验分布。

解 $x_1,x_2,\cdots ,x_n$ 与 $\theta$ 的联合分布为

$$h(x_1,x_2,\cdots ,x_n,\theta )={\theta }^{-n}\frac{192}{{\theta }^4},0<x_{(1)}<x_{(n)}<\theta ,\theta \ge 4,$$

此处 $x_{(1)}=3,x_{(3)}=8$，所以 $x_1,x_2,x_3$ 与 $\theta$ 的联合分布为

$$h(x_1,x_2,x_3,\theta )=192{\theta }^{-3-4},\theta >8,$$

于是 $\theta$ 的后验分布为

$$\pi (\theta \mid x_1,x_2,x_3)=\frac{192{\theta }^{-3-4}}{{\int }_8^{\infty }192{\theta }^{-3-4}\mathrm{d}\theta }=6\times 8^6{\theta }^{-7}=1572864{\theta }^{-7},\theta >8.$$

习题 6.5-12

从正态总体 $N(\theta ,2^2)$ 中随机抽取容量为 $100$ 的样本，又设 $\theta$ 的先验分布为正态分布，证明：不管先验分布的标准差为多少，后验分布的标准差一定小于 $1/5$。

解 设 $\theta$ 的先验分布为 $N(\mu ,{\tau }^2)$，由其共轭先验可知，$\theta$ 的后验分布仍为正态分布

$$N(a,{\sigma }^2),$$

其中

$$a=\frac{n\bar{x}/4+\mu {\tau }^{-2}}{n/4+{\tau }^{-2}},{\sigma }^2=\frac{1}{n/4+{\tau }^{-2}}.$$

由于 $n=100$，所以

$${\sigma }^2=\frac{1}{25+{\tau }^{-2}}<\frac{1}{25},$$

故，不管先验分布的标准差为多少，后验分布的标准差一定小于 $1/5$。

习题 6.5-13

设随机变量 $X$ 服从负二项分布，其概率分布为

$$f(x\mid p)=\left(\genfrac{}{}{0ex}{}{x-1}{k-1}\right)p^k(1-p{)}^{x-k},x=k,k+1,\cdots .$$

证明其成功概率 $p$ 的共轭先验分布族为贝塔分布族。

解 取成功概率 $p$ 的先验分布为 $Be(a,b)$，$a>0,b>0$，则 $x_1,x_2,\cdots ,x_n$ 与 $p$ 的联合分布为

$$h(x_1,x_2,\cdots ,x_n;p)=\prod _{i=1}^n\left(\genfrac{}{}{0ex}{}{x_i-1}{k-1}\right)p^{nk}(1-p{)}^{{\sum }_{i=1}^n{x}_i-nk}\frac{\Gamma (a+b)}{\Gamma (a)\Gamma (b)}{p}^{a-1}(1-p{)}^{b-1},$$

所以，

$$m(x_1,x_2,\cdots ,x_n)={\int }_0^{1}h(x_1,x_2,\cdots ,x_n;p)\mathrm{d}p$$ $$=\prod _{i=1}^n\left(\genfrac{}{}{0ex}{}{x_i-1}{k-1}\right)\frac{\Gamma (a+b)}{\Gamma (a)\Gamma (b)}\frac{\Gamma (nk+a)\Gamma \left({\sum }_{i=1}^n{x}_i-nk+b\right)}{\Gamma \left({\sum }_{i=1}^n{x}_i+a+b\right)},$$ $$\pi (p\mid x_1,x_2,\cdots ,x_n)=\frac{h(x_1,x_2,\cdots ,x_n;p)}{m(x_1,x_2,\cdots ,x_n)}$$ $$=\frac{\Gamma \left({\sum }_{i=1}^n{x}_i+a+b\right)}{\Gamma (nk+a)\Gamma \left({\sum }_{i=1}^n{x}_i-nk+b\right)}{p}^{nk+a-1}(1-p{)}^{{\sum }_{i=1}^n{x}_i-nk+b-1}.$$

即成功概率 $p$ 的后验分布为

$$Be\left(nk+a,\sum _{i=1}^n{x}_i-nk+b\right),$$

故成功概率 $p$ 的共轭先验分布族为贝塔分布族。

习题 6.5-14

从一批产品中抽检 $100$ 个，发现 $3$ 个不合格，假定该产品不合格品率 $\theta$ 的先验分布为贝塔分布 $Be(2,200)$，求 $\theta$ 的后验分布。

解 根据不合格品率 $\theta$ 的共轭先验可知，$\theta$ 的后验分布为

$$Be(x+2,n-x+200).$$

这里 $n=100$，$x=3$，所以，$\theta$ 的后验分布为 $\mathrm{Be}(5,297)$。

补充习题及解答

补充习题 15

设 $x=(x_1,x_2,\dots ,x_k)$ 服从多项分布 $M(n,\theta )$，其概率函数为

$$p(x;\theta )=\frac{n!}{x_1!x_2!\cdots x_k!}{\theta }_1^{x_1}{\theta }_2^{x_2}\cdots {\theta }_k^{x_k},$$

其中 $\theta =({\theta }_1,{\theta }_2,\dots ,{\theta }_k)$ 为参数，${\sum }_{i=1}^k{\theta }_i=1$，${\sum }_{i=1}^k{x}_i=n$。若 $\theta =({\theta }_1,{\theta }_2,\dots ,{\theta }_k)$ 的先验分布为狄利克雷（Dirichlet）分布，即

$$\pi (\theta )=\frac{\Gamma ({\alpha }_0)}{{\prod }_{i=1}^k\Gamma ({\alpha }_i)}\prod _{i=1}^k{\theta }_i^{{\alpha }_i-1},(0\le {\theta }_i\le 1,1\le i\le k),$$

其中 ${\alpha }_i>0$，$i=1,2,\dots ,k$；${\sum }_{i=1}^k{\alpha }_i={\alpha }_0$，记 $\alpha =({\alpha }_1,{\alpha }_2,\dots ,{\alpha }_k)$，并把这一分布记作 $D(\alpha )$。证明：$\theta$ 的后验分布为狄利克雷分布 $D(\alpha +x)$。

解 因为 $\theta$ 的后验概率函数为

$$\pi (\theta \mid x)=c(x)\cdot \frac{n!}{x_1!x_2!\cdots x_k!}\prod _{i=1}^k{\theta }_i^{x_i}\cdot \frac{\Gamma ({\alpha }_0)}{{\prod }_{i=1}^k\Gamma ({\alpha }_i)}\prod _{i=1}^k{\theta }_i^{{\alpha }_i-1}=c^{\ast }(x)\prod _{i=1}^k{\theta }_i^{{\alpha }_i+x_i-1},$$

所以 $\theta$ 的后验分布服从 Dirichlet 分布 $D(\alpha +x)$，其中

$$\alpha +x=({\alpha }_1+x_1,{\alpha }_2+x_2,\dots ,{\alpha }_k+x_k).$$

补充习题 16

设 $x_1,x_2,\dots ,x_n$ 是来自正态分布 $N({\theta }_1,{\sigma }^2)$ 的一个样本，令 ${\theta }_2=\frac{1}{2{\sigma }^2}$，又设 $({\theta }_1,{\theta }_2)$ 的联合先验分布如下给定：${\theta }_2\sim Ga(\alpha ,\lambda )$，在固定 ${\theta }_2$ 时，${\theta }_1$ 的条件分布为

$$N\left(0,\frac{1}{2{\theta }_2}\right),$$

其中 $\alpha ,\lambda$ 已知。

求：

(1) $({\theta }_1,{\theta }_2)$ 的后验分布为 $\pi ({\theta }_1,{\theta }_2\mid x_1,x_2,\dots ,x_n)$；

(2) ${\theta }_2$ 的后验边际分布；

(3) ${\theta }_2$ 给定条件下 ${\theta }_1$ 的后验边际分布。

解 (1) $({\theta }_1,{\theta }_2)$ 的先验分布为

$$\begin{array}{rl}\pi ({\theta }_1,{\theta }_2)& =\pi ({\theta }_1\mid {\theta }_2)\pi ({\theta }_2)\\ & =\frac{\sqrt{2{\theta }_2}}{\sqrt{2\pi }}\exp \{-{\theta }_2{\theta }_1^2\}\cdot \frac{{\lambda }^{\alpha }}{\Gamma (\alpha )}{\theta }_2^{\alpha -1}\exp \{-\lambda {\theta }_2\}\\ & =\frac{1}{\sqrt{\pi }}\frac{{\lambda }^{\alpha }}{\Gamma (\alpha )}{\theta }_2^{\alpha +\frac{1}{2}-1}\exp \{-(\lambda +{\theta }_1^2){\theta }_2\}.\end{array}$$

$x_1,x_2,\dots ,x_n$ 与 $({\theta }_1,{\theta }_2)$ 的联合分布为

$$\begin{array}{rl}h(x_1,x_2,\dots ,x_n;{\theta }_1,{\theta }_2)& =p(x_1,x_2,\dots ,x_n\mid {\theta }_1,{\theta }_2)\pi ({\theta }_1,{\theta }_2)\\ & ={\left(\frac{\sqrt{{\theta }_2}}{\sqrt{\pi }}\right)}^n\exp \left\{-{\theta }_2\sum _{i=1}^n(x_i-{\theta }_1{)}^2\right\}\cdot \frac{1}{\sqrt{\pi }}\frac{{\lambda }^{\alpha }}{\Gamma (\alpha )}{\theta }_2^{\alpha +\frac{1}{2}-1}\exp \{-(\lambda +{\theta }_1^2){\theta }_2\}\\ & ={\left(\frac{1}{\sqrt{\pi }}\right)}^{n+1}\frac{{\lambda }^{\alpha }}{\Gamma (\alpha )}{\theta }_2^{\alpha +\frac{1+n}{2}-1}\exp \left\{-\left[(n+1){\theta }_1^2-2{\theta }_1\sum _{i=1}^n{x}_i+\lambda +\sum _{i=1}^n{x}_i^2\right]{\theta }_2\right\}.\end{array}$$

所以，$({\theta }_1,{\theta }_2)$ 的后验分布为

$$\pi ({\theta }_1,{\theta }_2\mid x_1,x_2,\dots ,x_n)=c(x_1,x_2,\dots ,x_n){\theta }_2^{\alpha +\frac{1+n}{2}-1}\exp \left\{-\left[(n+1){\theta }_1^2-2{\theta }_1\sum _{i=1}^n{x}_i+\lambda +\sum _{i=1}^n{x}_i^2\right]{\theta }_2\right\}.$$

(2) 对 $\pi ({\theta }_1,{\theta }_2\mid x_1,x_2,\dots ,x_n)$ 关于 ${\theta }_1$ 求积分，则

$$\begin{array}{rl}\pi ({\theta }_2\mid x_1,x_2,\dots ,x_n)& =c(x_1,x_2,\dots ,x_n){\theta }_2^{\alpha +\frac{1+n}{2}-1}\exp \left\{-\left(\lambda +\sum _{i=1}^n{x}_i^2\right){\theta }_2\right\}\\ & \times {\int }_{-\infty }^{\infty }\exp \left\{-\left[(n+1){\theta }_1^2-2{\theta }_1\sum _{i=1}^n{x}_i\right]{\theta }_2\right\}d{\theta }_1\\ & =c_1(x_1,x_2,\dots ,x_n){\theta }_2^{\alpha +\frac{n}{2}-1}\exp \left\{-\left(\lambda +\sum _{i=1}^n{x}_i^2-\frac{(n\bar{x}{)}^2}{n+1}\right){\theta }_2\right\}.\end{array}$$

据此可知，

$${\theta }_2\mid x_1,x_2,\dots ,x_n\sim Ga\left(\alpha +\frac{n}{2},\lambda +\sum _{i=1}^n{x}_i^2-\frac{(n\bar{x}{)}^2}{n+1}\right).$$

(3) 由

$$\pi ({\theta }_1\mid {\theta }_2,x_1,x_2,\dots ,x_n)=\frac{\pi ({\theta }_1,{\theta }_2\mid x_1,x_2,\dots ,x_n)}{\pi ({\theta }_2\mid x_1,x_2,\dots ,x_n)}$$

可得，

$$\pi ({\theta }_1\mid {\theta }_2,x_1,x_2,\dots ,x_n)=c_2(x_1,x_2,\dots ,x_n)\exp \left\{-{\theta }_2(n+1){\left({\theta }_1-\frac{n\bar{x}}{n+1}\right)}^2\right\}.$$

据此可知，

$${\theta }_1\mid {\theta }_2,x_1,x_2,\dots ,x_n\sim N\left(\frac{n\bar{x}}{n+1},\frac{1}{2{\theta }_2(n+1)}\right).$$

这说明该先验分布为 $({\theta }_1,{\theta }_2)$ 的共轭先验分布。