§8.4 一元线性回归

依赖于

• 无显式依赖

被以下题目直接调用

• 无

正文部分

§8.4 一元线性回归

1. 问题 考察两个变量 $x$ 与 $y$ 之间是否存在线性相关关系，其中 $x$ 是一般（可控）变量，$y$ 是随机变量，其线性回归关系可表示如下（可用散点图显示）：

$$y={\beta }_0+{\beta }_{1}x+\epsilon ,$$

其中 ${\beta }_0$ 为截距，${\beta }_1$ 为斜率，$\epsilon$ 为随机误差，常假设

$$\epsilon \sim N(0,{\sigma }^2).$$

这里 ${\beta }_0,{\beta }_1,{\sigma }^2$ 是三个待估参数.上式表明，$y$ 与 $x$ 之间有线性关系，但受到随机误差的干扰.

1. 数据 对 $x$ 与 $y$ 通过试验或观察可得 $n$ 对数据（注：数据是成对的，不允许错位）.在 $y$ 与 $x$ 之间存在线性关系的假设下，有如下统计模型：

$$\{\begin{array}{ll}{y}_i={\beta }_0+{\beta }_1{x}_i+{\epsilon }_i,& i=1,2,\dots ,n,\\ \text{各 }{\epsilon }_i\text{ 独立同分布，其分布为 }N(0,{\sigma }^2).& \end{array}$$

利用成对数据可获得 ${\beta }_0$ 与 ${\beta }_1$ 的估计，设估计分别为 ${\hat{\beta }}_0,{\hat{\beta }}_1$，则称

$$\hat{y}={\hat{\beta }}_0+{\hat{\beta }}_{1}x$$

为回归方程，其图形称为回归直线.

1. 参数估计 用最小二乘法可得 ${\beta }_0$ 与 ${\beta }_1$ 的无偏估计

$$\{\begin{array}{l}{\hat{\beta }}_1=l_{xy}/l_{xx},\\ {\hat{\beta }}_0=\bar{y}-{\hat{\beta }}_1\bar{x},\end{array}$$

其中

$$\bar{x}=\frac{1}{n}\sum x_i,\bar{y}=\frac{1}{n}\sum y_i,$$ $$l_{xy}=\sum (x_i-\bar{x})(y_i-\bar{y})=\sum x_i{y}_i-n\bar{x}\bar{y}=\sum x_i{y}_i-\frac{1}{n}\sum x_i\sum y_i,$$ $$l_{xx}=\sum (x_i-\bar{x}{)}^2=\sum x_i^2-n{\bar{x}}^2=\sum x_i^2-\frac{1}{n}{\left(\sum x_i\right)}^2,$$ $$l_{yy}=\sum (y_i-\bar{y}{)}^2=\sum y_i^2-n{\bar{y}}^2=\sum y_i^2-\frac{1}{n}{\left(\sum y_i\right)}^2.$$

1. 回归方程的显著性检验 回归方程的显著性检验就是要对如下一个假设作出判断：

$$H_0:{\beta }_1=0\text{vs}{H}_1:{\beta }_1\ne 0.$$

对此可采用如下两种等价的检验方法：

（1）$F$ 检验

如下的平方和分解式是非常重要的，它在许多统计领域都有应用：

$$S_T=S_R+S_e,f_T=f_R+f_e,$$

其中

$$S_T=\sum (y_i-\bar{y}{)}^2=l_{yy}$$

是总偏差平方和，其自由度 $f_T=n-1$；

$$S_R=\sum ({\hat{y}}_i-\bar{y}{)}^2=\sum ({\hat{\beta }}_0+{\hat{\beta }}_1{x}_i-\bar{y}{)}^2={\hat{\beta }}_1{l}_{xy}={\hat{\beta }}_1^2{l}_{xx}$$

是回归平方和，其自由度 $f_R=1$；

$$S_e=\sum (y_i-{\hat{y}}_i{)}^2=\sum (y_i-{\hat{\beta }}_0-{\hat{\beta }}_1{x}_i{)}^2$$

是残差平方和，其自由度 $f_e=n-2$.

而 ${\hat{y}}_i={\hat{\beta }}_0+{\hat{\beta }}_1{x}_i$ 是在 $x=x_i$ 时的回归值（拟合值），它与实测值 $y_i$ 通常是不相等的.

在原假设 $H_0$ 成立的条件下，检验统计量

$$F=\frac{S_R}{S_e/(n-2)}\sim F(1,n-2),$$

拒绝域为

$$W=\{F\ge F_{1-\alpha }(1,n-2)\}.$$

上述检验过程一般用如下方差分析表列出：

$$\begin{array}{ccccc}\text{来源}& \text{平方和}& \text{自由度}& \text{均方}& F\text{ 比}\\ \text{回归}& S_R& f_R=1& M{S}_R=S_R& F=\frac{M{S}_R}{M{S}_e}\\ \text{残差}& S_e& f_e=n-2& M{S}_e=\frac{S_e}{n-2}& \\ \text{总计}& S_T& f_T=n-1& & \end{array}$$

（2）$t$ 检验

检验统计量为

$$t=\frac{{\hat{\beta }}_1}{\hat{\sigma }/\sqrt{l_{xx}}},\hat{\sigma }=\sqrt{S_e/(n-2)}.$$

在原假设成立下，

$$t\sim t(n-2),$$

因此拒绝域为

$$W=\{|t|\ge t_{1-\alpha /2}(n-2)\}.$$

注意到

$$t^2=F,$$

因此 $t$ 检验与 $F$ 检验是等价的，选其中之一使用即可.

1. 相关系数及其检验

（1）相关系数

对容量为 $n$ 的二维样本

$$\{(x_i,y_i),i=1,2,\dots ,n\}$$

的线性相关程度可用如下（样本）相关系数量

$$r=\frac{\sum (x_i-\bar{x})(y_i-\bar{y})}{\sqrt{\sum (x_i-\bar{x}{)}^2\sum (y_i-\bar{y}{)}^2}}=\frac{l_{xy}}{\sqrt{l_{xx}{l}_{yy}}}$$

来衡量.

1. $r=\pm 1$，$n$ 个点完全在一条直线上，此时两者之间可能是确定性关系；
2. $r>0$，当 $x$ 增加时，$y$ 有线性增加趋势，此时称正相关；
3. $r<0$，当 $x$ 增加时，$y$ 反而有线性减少趋势，此时称负相关；
4. $r=0$，$n$ 个点可能杂乱无章，也可能呈某种曲线趋势，此时称不（线性）相关.

（2）相关系数的检验

记 $\rho$ 为二维总体的相关系数，于是可建立如下假设：

$$H_0:\rho =0\text{vs}{H}_1:\rho \ne 0.$$

对此，采用检验统计量 $r=l_{xy}/\sqrt{l_{xx}{l}_{yy}}$，拒绝域为

$$W=\{|r|\ge r_{1-\alpha }(n-2)\},$$

其中 $r_{1-\alpha }(n-1)$ 是 $|r|$ 分布的 $1-\alpha$ 分位数，可查附表 9.

（3）检验统计量 $r$ 与 $F$ 统计量之间关系

$$r^2=\frac{F}{F+(n-2)}.$$

这表明 $|r|$ 是 $F$ 的严格增函数，所以相关系数检验与前面的 $F$ 检验也是等价的.

1. 估计与预测 回归方程的应用
2. 当 $x=x_0$ 时，${\hat{y}}_0={\hat{\beta }}_0+{\hat{\beta }}_1{x}_0$ 是 $E(y_0)={\beta }_0+{\beta }_1{x}_0$ 的点估计；
3. 当 $x=x_0$ 时，$E(y_0)={\beta }_0+{\beta }_1{x}_0$ 的置信水平为 $1-\alpha$ 的置信区间是

$$[{\hat{y}}_0-{\delta }_0,{\hat{y}}_0+{\delta }_0],$$

其中

$${\delta }_0=t_{1-\alpha /2}(n-2)\hat{\sigma }\sqrt{\frac{1}{n}+\frac{(x_0-\bar{x}{)}^2}{l_{xx}}},\hat{\sigma }=\sqrt{M{S}_e};$$

1. 当 $x=x_0$ 时，$y_0={\beta }_0+{\beta }_1{x}_0+{\epsilon }_0$ 的 $1-\alpha$ 预测区间是

$$[{\hat{y}}_0-\delta ,{\hat{y}}_0+\delta ],$$

其中

$$\delta =\delta (x_0)=t_{1-\alpha /2}(n-2)\hat{\sigma }\sqrt{1+\frac{1}{n}+\frac{(x_0-\bar{x}{)}^2}{l_{xx}}}.$$

注：$E(y_0)$ 是未知参数，而 $y_0$ 是随机变量.对 $E(y_0)$ 谈论的是置信区间，对 $y_0$ 谈论的是预测区间，两者是不同的，显然，预测区间要比置信区间宽很多.

要提高预测区间（置信区间也一样）的精度，即要使 $\delta$（或 ${\delta }_0$）较小，这要求：

1. 增大样本量 $n$；
2. 增大 $l_{xx}$，即要求 $x_1,x_2,\dots ,x_n$ 较为分散；
3. 使 $x_0$ 靠近 $\bar{x}$.

习题与解答 8.4

习题 8.4-1

假设回归直线过原点，即一元线性回归模型为

$$y_i=\beta x_i+{\epsilon }_i,i=1,2,\dots ,n,$$ $$E({\epsilon }_i)=0,\mathrm{Var}({\epsilon }_i)={\sigma }^2,$$

诸观测值相互独立.

1. 写出 $\beta$ 的最小二乘估计和 ${\sigma }^2$ 的无偏估计；
2. 对给定的 $x_0$，其对应的因变量均值的估计为 ${\hat{y}}_0$，求 $\mathrm{Var}({\hat{y}}_0)$.

解 由最小二乘法原理，令

$$Q=\sum _{i=1}^n(y_i-\beta x_i{)}^2,$$

则正则方程为

$${\frac{\partial Q}{\partial \beta }|}_{\hat{\beta }}=-2\sum _{i=1}^n(y_i-\hat{\beta }{x}_i)x_i=0.$$

从中解得 $\beta$ 的最小二乘估计为

$$\hat{\beta }=\frac{{\sum }_{i=1}^n{x}_i{y}_i}{{\sum }_{i=1}^n{x}_i^2}.$$

不难看出

$$E(\hat{\beta })=\beta ,\mathrm{Var}(\hat{\beta })=\frac{{\sigma }^2}{{\sum }_{i=1}^n{x}_i^2}.$$

于是，由

$$S_e=\sum (y_i-{\hat{y}}_i{)}^2=\sum (\beta x_i+{\epsilon }_i-\hat{\beta }{x}_i{)}^2=\sum \left[x_i^2(\hat{\beta }-\beta {)}^2+{\epsilon }_i^2-2(\hat{\beta }-\beta )x_i{\epsilon }_i\right],$$

可得

$$E(S_e)=\sum x_i^2\mathrm{Var}(\hat{\beta })+n\mathrm{Var}(\epsilon )-2\sum x_{i}E(\hat{\beta }{\epsilon }_i).$$

将 $\hat{\beta }$ 写成 $y_1,y_2,\dots ,y_n$ 的线性组合，利用 $y_j$ 与 ${\epsilon }_i$（$i\ne j$）间的独立性，有

$$E(\hat{\beta }{\epsilon }_i)=\frac{x_i}{{\sum }_{j=1}^n{x}_j^2}{\sigma }^2.$$

由此即有

$$\sum x_{i}E(\hat{\beta }{\epsilon }_i)={\sigma }^2,$$

从而

$$E(S_e)=(n-1){\sigma }^2.$$

这给出 ${\sigma }^2$ 的无偏估计为

$${\hat{\sigma }}^2=\frac{1}{n-1}{S}_e.$$

对给定的 $x_0$，对应的因变量均值的估计为

$${\hat{y}}_0=\hat{\beta }{x}_0,$$

于是

$$\mathrm{Var}({\hat{y}}_0)=x_0^2\mathrm{Var}(\hat{\beta })=\frac{x_0^2{\sigma }^2}{{\sum }_{i=1}^n{x}_i^2}.$$

习题 8.4-2

设回归模型为

$$\{\begin{array}{ll}{y}_i={\beta }_0+{\beta }_1{x}_i+{\epsilon }_i,& i=1,2,\dots ,n,\\ \text{各 }{\epsilon }_i\text{ 独立同分布，其分布为 }N(0,{\sigma }^2),& \end{array}$$

试求 ${\beta }_0,{\beta }_1$ 的最大似然估计，它们与其最小二乘估计一致吗？

解 似然函数为

$$L={\left(\frac{1}{\sqrt{2\pi }\sigma }\right)}^n\exp \left\{-\frac{{\sum }_{i=1}^n(y_i-{\beta }_0-{\beta }_1{x}_i{)}^2}{2{\sigma }^2}\right\},$$

其对数似然函数为

$$l=-\frac{n}{2}\ln {\sigma }^2-\frac{1}{2{\sigma }^2}\sum _{i=1}^n(y_i-{\beta }_0-{\beta }_1{x}_i{)}^2$$

（忽略常数项）.将其分别对 ${\beta }_0,{\beta }_1$ 求导，并令导函数为 $0$，得到如下似然方程组：

$$\{\begin{array}{l}{\frac{\partial l}{\partial {\beta }_0}|}_{{\hat{\beta }}_0}={\sum }_{i=1}^n(y_i-{\hat{\beta }}_0-{\hat{\beta }}_1{x}_i)=0,\\ {\frac{\partial l}{\partial {\beta }_1}|}_{{\hat{\beta }}_1}={\sum }_{i=1}^n(y_i-{\hat{\beta }}_0-{\hat{\beta }}_1{x}_i)x_i=0.\end{array}$$

经过整理可以解出

$$\{\begin{array}{l}{\hat{\beta }}_1=l_{xy}/l_{xx},\\ {\hat{\beta }}_0=\bar{y}-{\hat{\beta }}_1\bar{x}.\end{array}$$

可以看到 ${\beta }_0,{\beta }_1$ 的最大似然估计与其最小二乘估计是一致的.

习题 8.4-3

在回归分析计算中，常对数据进行变换

$${\tilde{y}}_i=\frac{y_i-c_1}{d_1},{\tilde{x}}_i=\frac{x_i-c_2}{d_2},i=1,2,\dots ,n,$$

其中 $c_1,c_2,d_1(d_1>0),d_2(d_2>0)$ 是适当选取的常数.

1. 试建立由原始数据和变换后数据得到的最小二乘估计、总平方和、回归平方和以及残差平方和之间的关系；
2. 证明：由原始数据和变换后数据得到的 $F$ 检验统计量的值保持不变.

解 经变换后，各平方和的表达式如下：

$$\widetilde{\stackrel{ˉ}{x}}=\frac{1}{n}\sum {\tilde{x}}_i=\frac{1}{d_2}(\bar{x}-c_2),\widetilde{\stackrel{ˉ}{y}}=\frac{1}{n}\sum {\tilde{y}}_i=\frac{1}{d_1}(\bar{y}-c_1),$$ $${\tilde{l}}_{\tilde{x}\tilde{y}}=\sum ({\tilde{x}}_i-\widetilde{\stackrel{ˉ}{x}})({\tilde{y}}_i-\widetilde{\stackrel{ˉ}{y}})=\frac{1}{d_1{d}_2}{l}_{xy},$$ $${\tilde{l}}_{\tilde{x}\tilde{x}}=\sum ({\tilde{x}}_i-\widetilde{\stackrel{ˉ}{x}}{)}^2=\frac{1}{d_2^2}{l}_{xx},{\tilde{l}}_{\tilde{y}\tilde{y}}=\sum ({\tilde{y}}_i-\widetilde{\stackrel{ˉ}{y}}{)}^2=\frac{1}{d_1^2}{l}_{yy}.$$

所以由原始数据和变换后数据得到的最小二乘估计间的关系为

$${\tilde{\beta }}_1=\frac{{\tilde{l}}_{\tilde{x}\tilde{y}}}{{\tilde{l}}_{\tilde{x}\tilde{x}}}=\frac{d_2}{d_1}{\hat{\beta }}_1,{\tilde{\beta }}_0=\widetilde{\stackrel{ˉ}{y}}-{\tilde{\beta }}_1\widetilde{\stackrel{ˉ}{x}}=\frac{1}{d_1}{\hat{\beta }}_0-\frac{1}{d_1}(c_1-{\hat{\beta }}_1{c}_2).$$

在实际应用中，人们往往在先由变换后的数据求出 ${\tilde{\beta }}_1,{\tilde{\beta }}_0$，然后再据此给出 ${\hat{\beta }}_1,{\hat{\beta }}_0$，它们的关系为

$${\hat{\beta }}_1=\frac{d_1}{d_2}{\tilde{\beta }}_1,{\hat{\beta }}_0=d_1{\tilde{\beta }}_0+c_1\left(1-\frac{d_1/c_1}{d_2/c_2}{\tilde{\beta }}_1\right).$$

总平方和、回归平方和以及残差平方和分别为

$$S_T=l_{yy}=d_1^2{\tilde{l}}_{\tilde{y}\tilde{y}}=d_1^2{\tilde{S}}_T,$$ $$S_R={\hat{\beta }}_1^2{l}_{xx}=\frac{d_1^2}{d_2^2}{\tilde{\beta }}_1^2\cdot d_2^2{l}_{\tilde{x}\tilde{x}}=d_1^2{\tilde{S}}_R,$$ $$S_e=d_1^2{\tilde{S}}_e.$$

由此知道

$$F=\frac{S_R}{S_e/(n-2)}=\frac{{\tilde{S}}_R}{{\tilde{S}}_e/(n-2)}=\tilde{F},$$

即说明了由原始数据和变换后数据得到的 $F$ 检验统计量的值保持不变.

习题 8.4-4

对给定的 $n$ 组数据 $(x_i,y_i),i=1,2,\cdots ,n$，若我们关心的是 $y$ 如何依赖 $x$ 的取值而变动，则可以建立回归方程

$$\hat{y}=a+bx.$$

反之，若我们关心的是 $x$ 如何依赖 $y$ 的取值而变动，则可以建立另一个回归方程

$$\hat{x}=c+dy.$$

试问这两条直线在直角坐标系中是否重合？为什么？若不重合，它们有无交点？若有，试给出交点的坐标.

解 一般不重合.因为回归方程 $\hat{y}=a+bx$ 可化为

$$\hat{y}-\bar{y}=\frac{l_{xy}}{l_{xx}}(x-\bar{x}),$$

而 $\hat{x}=c+dy$ 化为

$$\hat{x}-\bar{x}=\frac{l_{xy}}{l_{yy}}(y-\bar{y}).$$

当且仅当

$$l_{xy}^2=l_{xx}{l}_{yy}$$

时两条直线重合.我们知道，$l_{xy}^2=l_{xx}{l}_{yy}$ 表示相关系数的绝对值为 $1$，即 $n$ 组数据 $(x_i,y_i),i=1,2,\cdots ,n$ 在一条直线上，这在实际中极其罕见，所以说“一般不重合”.

注：不重合时，它们一定有交点 $(\bar{x},\bar{y})$.

习题 8.4-5

为考察某种维尼纶纤维的耐水性能，安排了一组试验，测得其中醇浓度 $x$ 及相应的“缩醇化度” $y$ 数据如下：

$$\begin{array}{cccccccc}x& 18& 20& 22& 24& 26& 28& 30\\ y& 26.86& 28.35& 28.75& 28.87& 29.75& 30.00& 30.36\end{array}$$

1. 作散点图；
2. 求样本相关系数；
3. 建立一元线性回归方程；
4. 对建立的回归方程作显著性检验（$\alpha =0.01$）.

解 （1）散点图如图 8.1，$y$ 有随着 $x$ 增加而增加趋势.

\FigureEightOne

（2）由样本数据可算得

$$\sum x_i=168,\sum y_i=202.94,$$ $$l_{xx}=\sum (x_i-\bar{x}{)}^2=112,l_{yy}=\sum (y_i-\bar{y}{)}^2=8.4931,$$ $$l_{xy}=\sum (x_i-\bar{x})(y_i-\bar{y})=\mathrm{29.6.}$$

因此样本相关系数

$$r=\frac{l_{xy}}{\sqrt{l_{xx}{l}_{yy}}}=\frac{29.6}{\sqrt{112\times 8.4931}}=\mathrm{0.9597.}$$

（3）应用最小二乘估计公式，

$${\hat{\beta }}_1=\frac{l_{xy}}{l_{xx}}=\frac{29.6}{112}=0.2643,{\hat{\beta }}_0=\bar{y}-{\hat{\beta }}_1\bar{x}=22.6482,$$

于是，一元线性回归方程为

$$\hat{y}=22.6482+0.2643x.$$

（4）首先计算几个平方和

$$S_T=l_{yy}=8.4931,S_R={\hat{\beta }}_1^2{l}_{xx}=0.2643^2\times 112=7.8237,$$ $$S_e=S_T-S_R=\mathrm{0.6694.}$$

将各平方和移入方差分析表，继续计算，可以得到

$$\begin{array}{ccccc}\text{来源}& \text{平方和}& \text{自由度}& \text{均方}& F\text{ 比}\\ \text{回归}& 7.8237& 1& 7.8237& 58.43\\ \text{残差}& 0.6694& 5& 0.1339& \\ \text{总计}& 8.4931& 6& & \end{array}$$

若取 $\alpha =0.01$，查表知

$$F_{0.99}(1,5)=16.26<58.43,$$

拒绝域为

$$W=\{F\ge 16.26\},$$

现检验统计量值落入拒绝域，因此在显著性水平 $0.01$ 下回归方程是显著的.此处，回归方程显著性检验的 $p$ 值为（用 MATLAB 语句表示）

$$p=1-\mathrm{fcdf}(58.43,1,5)=\mathrm{0.0006.}$$

习题 8.4-6

测得一组弹簧形变 $x$（单位：cm）和相应的外力 $y$（单位：N）数据如下：

$$\begin{array}{ccccccccccc}y& 1& 1.2& 1.4& 1.6& 1.8& 2.0& 2.2& 2.4& 2.8& 3.0\\ x& 3.08& 3.76& 4.31& 5.02& 5.51& 6.25& 6.74& 7.40& 8.54& 9.24\end{array}$$

由胡克定律知 $\hat{y}=kx$，试估计 $k$，并在 $x_0=2.6\text{cm}$ 处给出相应的外力 $y_0$ 的 $0.95$ 预测区间.

解 由本节的第 1 题可以给出 $k$ 的最小二乘估计为

$$\hat{k}=\frac{\sum x_i{y}_i}{\sum x_i^2}=\frac{128.296}{395.3199}=\mathrm{0.3245.}$$

在第 1 题中已经给出 $\hat{k}$ 的均值和方差分别为 $k$ 和 ${\sigma }^2/\sum x_i^2$，所以

$$\hat{k}{x}_0\sim N\left(E(y_0),\frac{x_0^2}{\sum x_i^2}{\sigma }^2\right),$$

其中

$$E(y_0)=k{x}_0,y_0\sim N(E(y_0),{\sigma }^2),$$

且两者独立，从而有

$$y_0-{\hat{y}}_0\sim N\left(0,\left(1+\frac{x_0^2}{\sum x_i^2}\right){\sigma }^2\right).$$

因此 $y_0$ 的预测区间为

$$({\hat{y}}_0-\delta ,{\hat{y}}_0+\delta ),$$

其中

$$\delta =t_{1-\alpha /2}(n-1)\hat{\sigma }\sqrt{1+\frac{x_0^2}{\sum x_i^2}},\hat{\sigma }=\sqrt{\frac{\sum (y_i-\hat{k}{x}_i{)}^2}{n-1}}.$$

由样本数据可计算得到

$$S_e=\sum (\hat{k}{x}_i-y_i{)}^2={\hat{k}}^2\sum x_i^2-2\hat{k}\sum x_i{y}_i+\sum y_i^2$$ $$=0.3245^2\times 395.3199-2\times 0.3245\times 128.296+41.64=0.0032,$$

从而

$$\hat{\sigma }=\sqrt{0.0032/(10-1)}=\mathrm{0.0189.}$$

而 $x_0=2.6\text{cm}$ 对应的外力的预测值为

$${\hat{y}}_0=0.3245\times 2.6=0.8437,$$

当 $\alpha =0.05$ 时，查表知

$$t_{0.975}(9)=2.2622,$$

故

$$\delta =2.2622\times 0.0189\times \sqrt{1+\frac{2.6^2}{395.3199}}=\mathrm{0.0431.}$$

因而得到 $y_0$ 的预测区间为

$$[0.8437-0.0431,0.8437+0.0431]=[0.8006,0.8868].$$

习题 8.4-7

设由 $(x_i,y_i)(i=1,2,\cdots ,n)$ 可建立一元线性回归方程，${\hat{y}}_i$ 是由回归方程得到的拟合值，证明：样本相关系数 $r$ 满足关系

$$r^2=\frac{{\sum }_{i=1}^n({\hat{y}}_i-\bar{y}{)}^2}{{\sum }_{i=1}^n(y_i-\bar{y}{)}^2},$$

上式也称为回归方程的决定系数.

解 因为

$$S_R={\hat{\beta }}_1^2{l}_{xx}=\frac{l_{xy}^2}{l_{xx}},$$

将之代入样本相关系数 $r$ 的表达式中，即有

$$r^2=\frac{l_{xy}^2}{l_{xx}{l}_{yy}}=\frac{S_R{l}_{xx}}{l_{xx}{l}_{yy}}=\frac{S_R}{S_T}=\frac{{\sum }_{i=1}^n({\hat{y}}_i-\bar{y}{)}^2}{{\sum }_{i=1}^n(y_i-\bar{y}{)}^2}.$$

证明完成.

习题 8.4-8

现收集了 16 组合金钢中的碳含量 $x$ 及强度 $y$ 的数据，求得

$$\bar{x}=0.125,\bar{y}=45.7886,l_{xx}=0.3024,l_{xy}=25.5218,l_{yy}=\mathrm{2432.4566.}$$

1. 建立 $y$ 关于 $x$ 的一元线性回归方程 $\hat{y}={\hat{\beta }}_0+{\hat{\beta }}_{1}x$；
2. 写出 ${\hat{\beta }}_0$ 和 ${\hat{\beta }}_1$ 的分布；
3. 求 ${\hat{\beta }}_0$ 和 ${\hat{\beta }}_1$ 的相关系数；
4. 列出对回归方程作显著性检验的方差分析表（$\alpha =0.05$）；
5. 给出 ${\beta }_1$ 的 $0.95$ 置信区间；
6. 在 $x_0=0.15$ 时求对应的 $y_0$ 的 $0.95$ 预测区间.

解 （1）根据已知数据可以得到回归系数的估计为

$${\hat{\beta }}_1=\frac{l_{xy}}{l_{xx}}=\frac{25.5218}{0.3024}=84.3975,{\hat{\beta }}_0=\bar{y}-{\hat{\beta }}_1\bar{x}=\mathrm{35.2389.}$$

于是 $y$ 关于 $x$ 的一元线性回归方程为

$$\hat{y}=35.2389+84.3975x.$$

（2）我们知道

$${\hat{\beta }}_0\sim N\left({\beta }_0,\left(\frac{1}{n}+\frac{{\bar{x}}^2}{l_{xx}}\right){\sigma }^2\right),{\hat{\beta }}_1\sim N\left({\beta }_1,\frac{{\sigma }^2}{l_{xx}}\right).$$

利用已给数据可计算出

$$\frac{1}{l_{xx}}=\frac{1}{0.3024}=3.3069,\frac{1}{n}+\frac{{\bar{x}}^2}{l_{xx}}=\frac{1}{16}+\frac{0.125^2}{0.3024}=0.1142,$$

由此可得到 ${\hat{\beta }}_0,{\hat{\beta }}_1$ 的分布分别为

$${\hat{\beta }}_0\sim N({\beta }_0,0.1142{\sigma }^2),{\hat{\beta }}_1\sim N({\beta }_1,3.3069{\sigma }^2).$$

（3）由于

$$\mathrm{Cov}({\hat{\beta }}_0,{\hat{\beta }}_1)=-\frac{\bar{x}}{l_{xx}}{\sigma }^2=-\frac{0.125}{0.3024}{\sigma }^2=-0.4134{\sigma }^2,$$

故 ${\hat{\beta }}_0$ 和 ${\hat{\beta }}_1$ 的相关系数为

$$r_{{\hat{\beta }}_0,{\hat{\beta }}_1}=\frac{\mathrm{Cov}({\hat{\beta }}_0,{\hat{\beta }}_1)}{\sqrt{\mathrm{Var}({\hat{\beta }}_0)\mathrm{Var}({\hat{\beta }}_1)}}=\frac{-0.4134}{\sqrt{0.1142\times 3.3069}}=-\mathrm{0.6727.}$$

（4）首先计算三个平方和

$$S_T=l_{yy}=2432.4566,S_R=\frac{l_{xy}^2}{l_{xx}}=2153.9758,S_e=S_T-S_R=\mathrm{278.4808.}$$

于是可建立如下方差分析表：

$$\begin{array}{ccccc}\text{来源}& \text{平方和}& \text{自由度}& \text{均方}& F\text{ 比}\\ \text{回归}& 2153.9758& 1& 2153.9758& 108.2862\\ \text{残差}& 278.4808& 14& 19.8915& \\ \text{总计}& 2432.4566& 15& & \end{array}$$

若取显著性水平 $\alpha =0.05$，查表知

$$F_{0.95}(1,14)=4.60,$$

拒绝域为

$$W=\{F\ge 4.60\},$$

此处检验统计量落入拒绝域，因此，在显著性水平 $0.05$ 下回归方程是显著的.此处，回归方程显著性检验的 $p$ 值为

$$p=1-\mathrm{fcdf}(108.2862,1,14)=5.6929\times 10^{-8}.$$

（5）由教材中定理 8.4.1 与定理 8.4.3 知，

$${\hat{\beta }}_1\sim N\left({\beta }_1,\frac{{\sigma }^2}{l_{xx}}\right),\frac{S_e}{{\sigma }^2}\sim {\chi }^2(n-2),$$

且 ${\hat{\beta }}_1$ 与

$${\hat{\sigma }}^2=\frac{1}{n-2}{S}_e$$

相互独立，因此 ${\beta }_1$ 的置信区间为

$$\left({\hat{\beta }}_1-t_{1-\alpha /2}(n-2)\frac{\hat{\sigma }}{\sqrt{l_{xx}}},{\hat{\beta }}_1+t_{1-\alpha /2}(n-2)\frac{\hat{\sigma }}{\sqrt{l_{xx}}}\right).$$

其中

$$\hat{\sigma }=\sqrt{19.8915}=4.46,t_{0.975}(14)=2.1448,$$

由此可得到 ${\beta }_1$ 的置信区间为

$$[84.3975-2.1448\times 4.46/\sqrt{0.3024},84.3975+2.1448\times 4.46/\sqrt{0.3024}]=[67.0022,101.7928].$$

（6）首先算出 $x_0=0.15$ 对应的 $y_0$ 的预测值为

$${\hat{y}}_0=35.2389+84.3975\times 0.15=\mathrm{47.8985.}$$

而

$$\delta =\delta (x_0)=t_{1-\alpha /2}(n-2)\hat{\sigma }\sqrt{1+\frac{1}{n}+\frac{(x_0-\bar{x}{)}^2}{l_{xx}}}$$ $$=2.1448\times 4.46\times \sqrt{1+\frac{1}{16}+\frac{(0.15-0.125{)}^2}{0.3024}}=9.8698,$$

所以 $x_0=0.15$ 时求对应的 $y_0$ 的 $0.95$ 预测区间为

$$[47.8985-9.8698,47.8985+9.8698]=[38.0287,57.7683].$$

习题 8.4-9

设回归模型为

$$\{\begin{array}{l}{y}_i={\beta }_0+{\beta }_1{x}_i+{\epsilon }_i,\\ {\epsilon }_i\sim N(0,{\sigma }^2),\end{array}$$

现收集了 15 组数据，计算有

$$\bar{x}=0.85,\bar{y}=25.60,l_{xx}=19.56,l_{xy}=32.54,l_{yy}=46.74,$$

后经校对，发现有一组数据记录错误，正确数据为 $(1.2,32.6)$，记录为 $(1.5,32.3)$.

1. 求 ${\beta }_0,{\beta }_1$ 修正后的 LSE；
2. 对回归方程作显著性检验（$\alpha =0.05$）；
3. 若 $x_0=1.1$，给出对应响应变量的 $0.95$ 预测区间.

解 由于有一组数据记录错误，应将 $\bar{x},\bar{y},l_{xx},l_{yy},l_{xy}$ 作修正，修正后的量分别记为

$${\bar{x}}^{\prime },{\bar{y}}^{\prime },l_{xx}^{\prime },l_{yy}^{\prime },l_{xy}^{\prime },$$

则

$${\bar{x}}^{\prime }=\bar{x}+\frac{1}{15}(1.2-1.5)=0.83,{\bar{y}}^{\prime }=\bar{y}+\frac{1}{15}(32.6-32.3)=25.62,$$ $$l_{xx}^{\prime }=l_{xx}+n{\bar{x}}^2-n{\bar{x}}^{\prime 2}-1.5^2+1.2^2=19.254,$$ $$l_{yy}^{\prime }=l_{yy}+n{\bar{y}}^2-n{\bar{y}}^{\prime 2}-32.3^2+32.6^2=50.844,$$ $$l_{xy}^{\prime }=l_{xy}+n\bar{x}\bar{y}-n{\bar{x}}^{\prime }{\bar{y}}^{\prime }-1.5\times 32.3+1.2\times 32.6=\mathrm{30.641.}$$

根据修正后的数据可计算得到 ${\beta }_0,{\beta }_1$ 的 LSE 为

$${\hat{\beta }}_1=\frac{l_{xy}^{\prime }}{l_{xx}^{\prime }}=1.5914,{\hat{\beta }}_0={\bar{y}}^{\prime }-{\hat{\beta }}_1{\bar{x}}^{\prime }=\mathrm{24.2991.}$$

利用修正后的数据计算三个平方和为

$$S_T=l_{yy}^{\prime }=50.844,f_T=14,$$ $$S_R=\frac{(l_{xy}^{\prime }{)}^2}{l_{xx}^{\prime }}=48.7624,f_R=1,$$ $$S_e=S_T-S_R=2.0816,f_e=13,$$

从而检验统计量

$$F=\frac{M{S}_R}{M{S}_e}=\frac{48.7624}{2.0816/13}=\mathrm{304.5746.}$$

若取显著性水平 $\alpha =0.05$，查表知

$$F_{0.95}(1,13)=4.67,$$

拒绝域为

$$W=\{F\ge 4.67\},$$

由于检验统计量落入拒绝域，因此回归方程是显著的.此处，回归方程显著性检验的 $p$ 值为

$$p=1-\mathrm{fcdf}(304.5746,1,13)=2.1043\times 10^{-10}.$$

对于 $x_0=1.1$，其对应响应变量的预测值为

$${\hat{y}}_0=24.2991+1.5914\times 1.1=26.0496,$$

而

$$\hat{\sigma }=\sqrt{0.1601}=0.4001,t_{0.975}(13)=2.1604,$$ $$\delta (x_0)=2.1604\times 0.4001\sqrt{1+\frac{1}{15}+\frac{(1.1-0.83{)}^2}{19.254}}=0.8943,$$

因此响应变量的 $0.95$ 预测区间为

$$[26.0496-0.8943,26.0496+0.8943]=[25.1553,26.9439].$$

习题 8.4-10

在生产中积累了 32 组某种铸件在不同腐蚀时间 $x$ 下腐蚀深度 $y$ 的数据，求得回归方程为

$$\hat{y}=-0.4441+0.002263x,$$

且误差方差的无偏估计为

$${\hat{\sigma }}^2=0.001452,$$

总偏差平方和为 $0.1246$.

1. 对回归方程作显著性检验（$\alpha =0.05$），列出方差分析表；
2. 求样本相关系数；
3. 若腐蚀时间 $x=870$，试给出 $y$ 的 $0.95$ 近似预测区间.

解 （1）由已知条件可以得到

$$S_T=0.1246,S_e=(n-2){\hat{\sigma }}^2=0.04356,$$

因此

$$S_R=0.1246-0.04356=\mathrm{0.08104.}$$

把这些平方和移至如下方差分析表上，继续计算：

$$\begin{array}{ccccc}\text{来源}& \text{平方和}& \text{自由度}& \text{均方}& F\text{ 比}\\ \text{回归}& 0.08104& 1& 0.08104& 55.8127\\ \text{残差}& 0.04356& 30& 0.001452& \\ \text{总计}& 0.1246& 31& & \end{array}$$

若取显著性水平 $\alpha =0.05$，则

$$F_{0.95}(1,30)=4.17<55.8127,$$

因此回归方程是显著的，此处回归方程检验的 $p$ 值为

$$p=1-\mathrm{fcdf}(55.8127,1,30)=2.5101\times 10^{-8}.$$

（2）样本相关系数

$$r=\sqrt{\frac{S_R}{S_T}}=\sqrt{\frac{0.08104}{0.1246}}=\mathrm{0.8065.}$$

（3）若腐蚀时间 $x=870$，则 $y$ 的预测值为

$$\hat{y}=-0.4441+0.002263\times 870=\mathrm{1.5247.}$$

其 $0.95$ 近似预测区间的半径为

$$\delta \approx \hat{\sigma }{u}_{0.975}=\sqrt{0.001452}\times 1.96=0.0747,$$

从而 $y$ 的 $0.95$ 近似预测区间为

$$[1.5247-0.0747,1.5247+0.0747]=[1.4500,1.5994].$$

习题 8.4-11

我们知道营业税税收总额 $y$ 与社会商品零售总额 $x$ 有关.为能从社会商品零售总额去预测税收总额，需要了解两者之间的关系.现收集了如下 9 组数据（单位：亿元）：

$$\begin{array}{cccccccccc}\text{序号}& 1& 2& 3& 4& 5& 6& 7& 8& 9\\ x& 142.08& 177.30& 204.68& 242.68& 316.24& 341.99& 332.69& 389.29& 453.40\\ y& 3.93& 5.96& 7.85& 9.82& 12.50& 15.55& 15.79& 16.39& 18.45\end{array}$$

1. 画散点图；
2. 建立一元线性回归方程，并作显著性检验（取 $\alpha =0.05$），列出方差分析表；
3. 若已知某年社会商品零售总额为 $300$ 亿元，试给出营业税税收总额的概率为 $0.95$ 的预测区间；
4. 若已知回归直线过原点，试求回归方程，并在显著性水平 $0.05$ 下作显著性检验.

解 （1）散点图如图 8.2.

\FigureEightTwo

（2）用 MATLAB 统计软件进行回归，得到的回归方程为

$$\hat{y}=-2.26+0.0487x,$$

其方差分析表如下：

$$\begin{array}{cccccc}\text{来源}& \text{平方和}& \text{自由度}& \text{均方和}& F\text{ 比}& p\text{ 值}\\ \text{回归}& 203.40& 1& 203.40& 180& 0.000\\ \text{残差}& 7.93& 7& 1.13& & \\ \text{总计}& 211.33& 8& & & \end{array}$$

根据以上结果，在显著性水平 $\alpha =0.05$ 下，回归方程是显著的.

（3）按 regression 的 prediction of new observation 功能，当自变量 $x$ 的值取 $300$ 时，可得到 $y$ 的 $0.95$ 预测区间为

$$[9.688,14.999].$$

（4）若拟合不带截距的过原点的回归方程，只要在 options 中不选 Fit intercept 选项，即可得到过原点的回归直线为

$$\hat{y}=0.0417x,$$

此时检验的 $p$ 值为 $0.000$，因此在显著性水平 $\alpha =0.05$ 下，过原点的回归方程是显著的.

补充习题及解答

补充习题 12

求一回归直线 $y=A+Bx$，使所有样本点 $(x_1,y_1),(x_2,y_2),\cdots ,(x_n,y_n)$ 到该直线的垂直距离平方和最小.

解 点 $(x_i,y_i)$ 到直线 $y=A+Bx$ 的垂直距离的平方为

$$d_i^2=\frac{(y_i-A-B{x}_i{)}^2}{1+B^2}.$$

如今要求 $A$ 与 $B$，使

$$\phi (A,B)=\sum _{i=1}^n\frac{(y_i-A-B{x}_i{)}^2}{1+B^2}$$

最小，使用微分法，并令其导数为零，可得如下两个方程：

$$\sum _{i=1}^n(y_i-\hat{A}-\hat{B}{x}_i)=0,\text{或}\bar{y}-\hat{A}-\hat{B}\bar{x}=0,\text{\hspace{1em}(1)}$$ $$(1+{\hat{B}}^2)\sum _{i=1}^n(y_i-\hat{A}-\hat{B}{x}_i)x_i+\hat{B}\sum _{i=1}^n(y_i-\hat{A}-\hat{B}{x}_i{)}^2=0.\text{\hspace{1em}(2)}$$

由（1）式可得

$$\hat{A}=\bar{y}-\hat{B}\bar{x},$$

并将其代入（2）式，可得

$$(1+{\hat{B}}^2)\sum _{i=1}^n[(y_i-\bar{y})-\hat{B}(x_i-\bar{x})]x_i+\hat{B}\sum _{i=1}^n[(y_i-\bar{y})-\hat{B}(x_i-\bar{x}){]}^2=0.$$

注意到恒等式

$$\sum _{i=1}^n[(y_i-\bar{y})-\hat{B}(x_i-\bar{x})]\bar{x}=0,$$

可将上式化为

$$(1+{\hat{B}}^2)\sum _{i=1}^n[(y_i-\bar{y})-\hat{B}(x_i-\bar{x})](x_i-\bar{x})+\hat{B}\sum _{i=1}^n[(y_i-\bar{y})-\hat{B}(x_i-\bar{x}){]}^2=0.$$

使用相同的记号

$$l_{xx}=\sum (x_i-\bar{x}{)}^2,l_{yy}=\sum (y_i-\bar{y}{)}^2,l_{xy}=\sum (x_i-\bar{x})(y_i-\bar{y}),$$

则上式可表示为

$$(1+{\hat{B}}^2)(l_{xy}-\hat{B}{l}_{xx})+\hat{B}(l_{yy}+{\hat{B}}^2{l}_{xx}-2\hat{B}{l}_{xy})=0.$$

整理后可得如下 $\hat{B}$ 的二次方程

$$l_{xy}{\hat{B}}^2+(l_{xx}-l_{yy})\hat{B}-l_{xy}=0.$$

由于判别式

$$\Delta =(l_{xx}-l_{yy}{)}^2+4l_{xy}^2\ge 0,$$

故此二次方程有实根，

$$\hat{B}=\frac{(l_{yy}-l_{xx})\pm \sqrt{(l_{xx}-l_{yy}{)}^2+4l_{xy}^2}}{2l_{xy}},$$

这里 $\hat{B}$ 是斜率，根据散点图上的上升趋势或下降趋势选择 $\hat{B}$ 表达式中的正负号.

讨论：这样一来，通过二维样本 $(x_i,y_i)(i=1,2,\cdots ,n)$ 建立一元线性回归方程有两个标准：

1. 使残差平方和 ${\sum }_{i=1}^n(y_i-a-b{x}_i{)}^2$ 达到最小；
2. 使回归方程的垂直距离平方和

$$\sum _{i=1}^n\frac{(y_i-A-B{x}_i{)}^2}{1+B^2}$$

达到最小.

它们导出的回归系数估计也是不同的，但两条回归直线都通过点 $(\bar{x},\bar{y})$.哪个更好呢？这要看你使用什么标准，实际情况是（1）的理论已很完善，使用的人已很多，效果也很好，而（2）的研究甚少，几乎还无人用在实际中使用.实际研究表明，当相关系数的绝对值 $|r|$ 接近于 $1$ 时，两个标准下得到的回归系数都很接近，即 $a\approx A,b\approx B$.倘若 $|r|$ 远离 $1$ 时，两个标准下得到的回归系数相差就大了，接下去的两个习题分别说明这个现象.

补充习题 13

在用光电比色计检验尿素时，对给定的尿素含量 $x$（单位：mg/l），消光系数 $y$ 服从正态分布，且方差与 $x$ 无关，观测得如下数据：

$$\begin{array}{cccccc}\text{尿素含量 }x& 2& 4& 6& 8& 10\\ \text{消光系数 }y& 64& 138& 205& 285& 360\end{array}$$

试用两个标准分别建立一元回归方程.

解 由这组数据可计算得到

$$\bar{x}=6,\bar{y}=210.4,l_{xx}=40,l_{yy}=54649.2,l_{xy}=1478.$$

（1）用残差平方和最小的标准，可得两回归系数为

$$\hat{b}=\frac{l_{xy}}{l_{xx}}=\frac{1478}{40}=36.95,\hat{a}=\bar{y}-\hat{b}\bar{x}=210.4-36.95\times 6=-\mathrm{11.3.}$$

（2）用到回归直线垂直距离平方和最小的标准（见补充习题 12），可得两回归系数为

$$\hat{B}=\frac{54649.2-40+\sqrt{(54649.2-40{)}^2+4\times 1478^2}}{2\times 1478}=36.9751,$$ $$\hat{A}=210.4-36.9751\times 6=-\mathrm{11.4506.}$$

比较两个标准下的结果，可见 $\hat{a}\approx \hat{A},\hat{b}\approx \hat{B}$，这是因为其相关系数

$$r=0.99966$$

很接近 $1$.

补充习题 14

某合金钢的抗拉强度 $y$ 与碳含量 $x$ 有关，现有 92 炉钢样数据，从中算得

$$\bar{x}=0.1255,\bar{y}=45.80,$$ $$l_{xx}=0.3018,l_{yy}=2981,l_{xy}=26.70,$$

试用两个标准分别建立一元回归方程.

解 （1）用残差平方和最小的标准，可得两回归系数为

$$\hat{b}=\frac{l_{xy}}{l_{xx}}=\frac{26.7}{0.3018}=88.47,\hat{a}=\bar{y}-\hat{b}\bar{x}=45.80-88.47\times 0.1255=\mathrm{34.70.}$$

（2）用到回归直线垂直距离平方和最小的标准（见补充习题 12），可得两回归系数为

$$\hat{B}=\frac{(2981-0.3018)+\sqrt{(2981-0.3018{)}^2+4\times 26.7^2}}{2\times 26.70}=111.6456,$$ $$\hat{A}=45.80-111.6456\times 0.1255=\mathrm{31.7885.}$$

比较两种标准下的结果，可见 $\hat{a}$ 与 $\hat{A},\hat{b}$ 与 $\hat{B}$ 之间相差较大，这是因其相关系数

$$r=0.8902$$

与 $1$ 有较大差距.