§4.3 大数定律

依赖于

• 无显式依赖

被以下题目直接调用

• 无

正文部分

§4.3 大数定律

\textbf{1. 随机变量序列 $\{X_n\}$ 服从大数定律} 设 $\{X_n\}$ 为随机变量序列，若对任意的 $\epsilon >0$，有

$$\underset{n\to \infty }{\lim }P\left(\left|\frac{1}{n}\sum _{i=1}^n{X}_i-\frac{1}{n}\sum _{i=1}^{n}E(X_i)\right|<\epsilon \right)=1,$$

则称 $\{X_n\}$ 服从大数定律。

2. 伯努利大数定律 设 $S_n$ 为 $n$ 重伯努利试验中事件 $A$ 发生的次数，$p$ 为每次试验中 $A$ 出现的概率，则对任意的 $\epsilon >0$，有

$$\underset{n\to \infty }{\lim }P\left(\left|\frac{S_n}{n}-p\right|<\epsilon \right)=1,$$

这是第一个大数定律，它表明：事件发生的频率依概率收敛于该事件的概率，这就是“频率稳定于概率”的含义，也是“用频率去估计概率”的依据。

3. 切比雪夫大数定律 设 $\{X_n\}$ 为一列两两不相关的随机变量序列，若每个 $X_i$ 的方差存在，且有共同的上界，即 $\text{Var}(X_i)\le c,i=1,2,\cdots$，则 $\{X_n\}$ 服从大数定律。

4. 马尔可夫大数定律 对随机变量序列 $\{X_n\}$，若有

$$\frac{1}{n^2}\text{Var}\left(\sum _{i=1}^n{X}_i\right)\to 0(n\to \infty ),$$

则 $\{X_n\}$ 服从大数定律。上式称为马尔可夫条件。

5. 辛钦大数定律 设 $\{X_n\}$ 为一独立同分布的随机变量序列，若 $X_i$ 的数学期望存在，则 $\{X_n\}$ 服从大数定律。

习题与解答 4.3

习题 4.3-1

设 $\{X_k\}$ 为独立随机变量序列，且

$$P(X_k=\pm \sqrt{\ln k})=\frac{1}{2},k=1,2,\cdots .$$

证明 $\{X_k\}$ 服从大数定律。

解 因为 $X_1,X_2,\cdots$ 相互独立，且 $E(X_k)=0,\text{Var}(X_k)=\ln k$，所以

$$\text{Var}\left(\sum _{k=1}^n{X}_k\right)=\sum _{k=1}^n\ln k\le n\times \ln n,$$

由此可得马尔可夫条件

$$\frac{1}{n^2}\text{Var}\left(\sum _{k=1}^n{X}_k\right)\le \frac{\ln n}{n}\to 0(n\to \infty ).$$

由马尔可夫大数定律知 $\{X_n\}$ 服从大数定律。

习题 4.3-2

设 $\{X_k\}$ 为独立随机变量序列，且

$$P(X_k=\pm 2^k)=\frac{1}{2^{2k+1}},P(X_k=0)=1-\frac{1}{2^{2k}},k=1,2,\cdots ,$$

证明 $\{X_k\}$ 服从大数定律。

解 因为 $X_1,X_2,\cdots$ 相互独立，且 $E(X_k)=0,\text{Var}(X_k)=1$，由此可得马尔可夫条件

$$\frac{1}{n^2}\text{Var}\left(\sum _{k=1}^n{X}_k\right)=\frac{1}{n}\to 0(n\to \infty ).$$

由马尔可夫大数定律知 $\{X_n\}$ 服从大数定律。

习题 4.3-3

设 $\{X_n\}$ 为独立随机变量序列，且 $P(X_1=0)=1$，

$$P(X_n=\pm \sqrt{n})=\frac{1}{n},P(X_n=0)=1-\frac{2}{n},n=2,3,\cdots ,$$

证明 $\{X_n\}$ 服从大数定律。

解 因为 $X_1,X_2,\cdots$ 相互独立，且

$$E(X_n)=0,\text{Var}(X_n)=2,n=2,3,\cdots ,$$

故可得马尔可夫条件

$$\frac{1}{n^2}\text{Var}\left(\sum _{i=1}^n{X}_i\right)=\frac{2(n-1)}{n^2}\to 0(n\to \infty ).$$

由马尔可夫大数定律知 $\{X_n\}$ 服从大数定律。

习题 4.3-4

在伯努利试验中，事件 $A$ 出现的概率为 $p$，令

$$X_n=\{\begin{array}{ll}1,& \text{若在第 n 次及第 n+1 次试验中 A 都出现},\\ 0,& \text{其他}.\end{array}$$

证明 $\{X_n\}$ 服从大数定律。

解 $\{X_n\}$ 为同分布随机变量，其共同分布为

$$\begin{array}{ccc}{X}_n& 0& 1\\ P& 1-p^2& p^2\end{array}$$

且

$$E(X_n)=E(X_n^2)=p^2,$$

从而

$$\text{Var}(X_n)=p^2(1-p^2)\le 1.$$

又当 $|i-j|\ge 2$ 时，$X_i$ 与 $X_j$ 独立，所以

$$\frac{1}{n^2}\text{Var}\left(\sum _{i=1}^n{X}_i\right)=\frac{1}{n^2}\left[\sum _{i=1}^n\text{Var}(X_i)+2\sum _{i=1}^{n-1}\text{Cov}(X_i,X_{i+1})\right].$$

又因为

$$|\text{Cov}(X_i,X_{i+1})|\le \sqrt{\text{Var}(X_i)}\sqrt{\text{Var}(X_{i+1})}=p^2(1-p^2),$$

于是有

$$\frac{1}{n^2}\text{Var}\left(\sum _{i=1}^n{X}_i\right)\le \frac{1}{n^2}\left[n{p}^2(1-p^2)+2(n-1)p^2(1-p^2)\right]\to 0(n\to \infty ),$$

即马尔可夫条件成立，故 $\{X_n\}$ 服从大数定律。

习题 4.3-5

设 $\{X_n\}$ 为独立的随机变量序列，且

$$P(X_n=1)=p_n,P(X_n=0)=1-p_n,n=1,2,\cdots .$$

证明 $\{X_n\}$ 服从大数定律。

解 因为

$$E(X_n)=p_n,\text{Var}(X_n)=p_n(1-p_n)\le \frac{1}{4},$$

所以由 $X_1,X_2,\cdots$ 的独立性可得

$$\frac{1}{n^2}\text{Var}\left(\sum _{k=1}^n{X}_k\right)\le \frac{1}{4n}\to 0(n\to \infty ).$$

由马尔可夫大数定律知 $\{X_n\}$ 服从大数定律。

习题 4.3-6

设 $\{X_n\}$ 为独立同分布的随机变量序列，其共同的分布函数为

$$F(x)=\frac{1}{2}+\frac{1}{\pi }\arctan \frac{x}{a},-\infty <x<\infty .$$

试问：辛钦大数定律对此随机变量序列是否适用？

解 此为柯西分布的分布函数，而柯西分布的数学期望不存在。因为辛钦大数定律要求数学期望存在，所以辛钦大数定律对此随机变量序列不适用。

习题 4.3-7

设 $\{X_n\}$ 为独立同分布的随机变量序列，其共同分布为

$$P\left(X_n=\frac{2^k}{k^2}\right)=\frac{1}{2^k},k=1,2,\cdots .$$

试问 $\{X_n\}$ 是否服从大数定律？

解 因为

$$E(X_n)=\sum _{k=1}^{\infty }\frac{2^k}{k^2}\cdot \frac{1}{2^k}=\sum _{k=1}^{\infty }\frac{1}{k^2}=\frac{{\pi }^2}{6}<\infty ,$$

即 $E(X_n)$ 存在，所以由辛钦大数定律知 $\{X_n\}$ 服从大数定律。

习题 4.3-8

设 $\{X_n\}$ 为独立同分布的随机变量序列，其共同分布为

$$P(X_n=k)=\frac{c}{k^2\cdot {\lg }^{2}k},k=2,3,\cdots ,$$

其中

$$c={\left(\sum _{k=2}^{\infty }\frac{1}{k^2\cdot {\lg }^{2}k}\right)}^{-1},$$

试问 $\{X_n\}$ 是否服从大数定律？

解 因为

$$E(X_n)=\sum _{k=2}^{\infty }k\cdot \frac{c}{k^2{\lg }^{2}k}=c\sum _{k=2}^{\infty }\frac{1}{k{\lg }^{2}k},$$

由柯西积分判别法知上述级数收敛，故 $E(X_n)$ 存在，所以由辛钦大数定律知 $\{X_n\}$ 服从大数定律。

习题 4.3-9

设 $\{X_n\}$ 为独立同分布的随机变量序列，其中 $X_n$ 服从参数为 $\sqrt{n}$ 的泊松分布，试问 $\{X_n\}$ 是否服从大数定律？

解 因为

$$\frac{1}{n^2}\text{Var}\left(\sum _{i=1}^n{X}_i\right)\le \frac{n\sqrt{n}}{n^2}\to 0(n\to \infty ).$$

所以由马尔可夫大数定律知 $\{X_n\}$ 服从大数定律。

习题 4.3-10

设 $\{X_n\}$ 为独立的随机变量序列，证明：若诸 $X_n$ 的方差 ${\sigma }_n^2$ 一致有界，即存在常数 $c$，使得

$${\sigma }_n^2\le c,n=1,2,\cdots ,$$

则 $\{X_n\}$ 服从大数定律。

解 证 因为

$$\frac{1}{n^2}\text{Var}\left(\sum _{i=1}^n{X}_i\right)=\frac{1}{n^2}\sum _{i=1}^n{\sigma }_i^2\le \frac{c}{n}\to 0(n\to \infty ).$$

所以由马尔可夫大数定律知 $\{X_n\}$ 服从大数定律。

习题 4.3-11

（泊松大数定律）设 $S_n$ 为 $n$ 次独立试验中事件 $A$ 出现的次数，而事件 $A$ 在第 $i$ 次试验中出现的概率为 $p_i,i=1,2,\cdots ,n,\cdots$，则对任意的 $\epsilon >0$，有

$$\underset{n\to \infty }{\lim }P\left(\left|\frac{S_n}{n}-\frac{1}{n}\sum _{i=1}^n{p}_i\right|<\epsilon \right)=1.$$

解 证 记

$$X_i=\{\begin{array}{ll}1,& \text{第 i 次试验时 A 出现},\\ 0,& \text{反之}.\end{array}$$

则

$$S_n=\sum _{i=1}^n{X}_i,$$

且

$$E(S_n)=\sum _{i=1}^n{p}_i,\text{Var}(S_n)=\sum _{i=1}^n{p}_i(1-p_i)\le \frac{n}{4}.$$

所以由切比雪夫不等式，对任意的 $\epsilon >0$，有

$$P\left(\left|\frac{S_n}{n}-\frac{1}{n}\sum _{i=1}^n{p}_i\right|\ge \epsilon \right)\le \frac{\text{Var}(S_n/n)}{{\epsilon }^2}\le \frac{1}{4n{\epsilon }^2}\to 0,$$

即

$$\underset{n\to \infty }{\lim }P\left(\left|\frac{S_n}{n}-\frac{1}{n}\sum _{i=1}^n{p}_i\right|<\epsilon \right)=1.$$

习题 4.3-12

（伯恩斯坦（Bernstein）大数定律）设 $\{X_n\}$ 是方差一致有界的随机变量序列，且当 $|k-l|\to \infty$ 时，一致地有 $\text{Cov}(X_k,X_l)\to 0$，证明 $\{X_n\}$ 服从大数定律。

解 证 记 $\text{Var}(X_n)={\sigma }_n^2\le {\sigma }^2,\text{Corr}(X_k,X_l)=\rho (k,l)$。对任意 $\epsilon >0$，存在 $M>0$，当 $|k-l|>M$ 时，有

$$|\rho (k,l)|<\epsilon ,$$

所以

$$\begin{array}{rl}\frac{1}{n^2}\text{Var}\left(\sum _{i=1}^n{X}_i\right)& =\frac{1}{n^2}\left(\sum _{i=1}^n{\sigma }_i^2+\sum _{k,l=1}^n{\sigma }_k{\sigma }_l\rho (k,l)\right)\\ & \le \frac{1}{n^2}\left[n{\sigma }^2+{\sigma }^2\sum _{k=1}^n\left(\sum _{|k-l|\le M}|\rho (k,l)|+\sum _{|k-l|>M}|\rho (k,l)|\right)\right]\\ & \le \frac{1}{n^2}\left[n{\sigma }^2+{\sigma }^2\sum _{k=1}^n(2M+1+2n\epsilon )\right]\\ & =\frac{{\sigma }^2}{n}+\frac{2M+1}{n}{\sigma }^2+2{\sigma }^2\epsilon .\end{array}$$

由 $\epsilon$ 的任意性知

$$\frac{1}{n^2}\text{Var}\left(\sum _{i=1}^n{X}_i\right)\to 0(n\to \infty ).$$

所以由马尔可夫大数定律知 $\{X_n\}$ 服从大数定律。

习题 4.3-13

（格涅坚科（Gnedenko）大数定律）设 $\{X_n\}$ 是随机变量序列，若记

$$Y_n=\frac{1}{n}\sum _{i=1}^n{X}_i,a_n=\frac{1}{n}\sum _{i=1}^{n}E(X_i),$$

则 $\{X_n\}$ 服从大数定律的充要条件是

$$\underset{n\to \infty }{\lim }E\left[\frac{(Y_n-a_n{)}^2}{1+(Y_n-a_n{)}^2}\right]=0.$$

解 证 先证充分性。对任意 $\epsilon >0$，注意到 $t>0$ 时，$f(t)=t^2/(1+t^2)$ 是增函数，故当 $|y-a_n|\ge \epsilon$ 时，有

$$\frac{|y-a_n{|}^2}{1+|y-a_n{|}^2}\ge \frac{{\epsilon }^2}{1+{\epsilon }^2},\frac{1+{\epsilon }^2}{{\epsilon }^2}\cdot \frac{|y-a_n{|}^2}{1+|y-a_n{|}^2}\ge 1.$$

因此有

$$\begin{array}{rl}P(|Y_n-a_n|\ge \epsilon )& ={\int }_{|y-a_n|\ge \epsilon }d{F}_{Y_n}(y)\\ & \le \frac{1+{\epsilon }^2}{{\epsilon }^2}{\int }_{|y-a_n|\ge \epsilon }\frac{(y-a_n{)}^2}{1+(y-a_n{)}^2}d{F}_{Y_n}(y)\\ & \le \frac{1+{\epsilon }^2}{{\epsilon }^2}E\left[\frac{(Y_n-a_n{)}^2}{1+(Y_n-a_n{)}^2}\right].\end{array}$$

所以当

$$\underset{n\to \infty }{\lim }E\left[\frac{(Y_n-a_n{)}^2}{1+(Y_n-a_n{)}^2}\right]=0$$

时，有

$$\underset{n\to \infty }{\lim }P(|Y_n-a_n|\ge \epsilon )=0,$$

故 $\{X_n\}$ 服从大数定律。

再证必要性。设 $\{X_n\}$ 服从大数定律，即

$$\underset{n\to \infty }{\lim }P(|Y_n-a_n|\ge \epsilon )=0,$$

则对任意 $\epsilon >0$，存在 $N$，当 $n>N$ 时，有

$$P(|Y_n-a_n|\ge \epsilon )<\epsilon .$$

因为函数 $f(t)=t^2/(1+t^2)$ 是增函数及 $0<f(t)<1$，得

$$\begin{array}{rl}0\le E\left[\frac{(Y_n-a_n{)}^2}{1+(Y_n-a_n{)}^2}\right]& \le \frac{{\epsilon }^2}{1+{\epsilon }^2}P(|Y_n-a_n|<\epsilon )+1\times P(|Y_n-a_n|\ge \epsilon )\\ & \le {\epsilon }^2+\epsilon .\end{array}$$

由于 $\epsilon$ 的任意性，所以

$$\underset{n\to \infty }{\lim }E\left[\frac{(Y_n-a_n{)}^2}{1+(Y_n-a_n{)}^2}\right]=0.$$

习题 4.3-14

设 $\{X_n\}$ 为独立同分布的随机变量序列，方差存在。又设 ${\sum }_{n=1}^{\infty }{a}_n$ 为绝对收敛级数。令

$$Y_n=\sum _{i=1}^n{X}_i.$$

证明 $\{a_n{Y}_n\}$ 服从大数定律。

解 证 不妨设 $E(X_n)=0$，否则令 $X_n^{\prime }=X_n-E(X_n)$，并讨论 $\{X_n^{\prime }\}$ 即可。由 $E(X_n)=0$ 知

$$\text{Var}(X_n)=E(X_n^2)={\sigma }^2.$$

又因为 ${\sum }_{n=1}^{\infty }{a}_n$ 为绝对收敛级数，可记

$$c=\sum _{n=1}^{\infty }|a_n|<\infty .$$

因为

$$\sum _{i=1}^n{a}_i{Y}_i=\sum _{i=1}^n{a}_i\left(\sum _{j=1}^i{X}_j\right)=\sum _{j=1}^n{X}_j\left(\sum _{i=j}^n{a}_i\right),$$

故有

$$\begin{array}{rl}\frac{1}{n^2}\text{Var}\left(\sum _{i=1}^n{a}_i{Y}_i\right)& =\frac{1}{n^2}E{\left[\sum _{j=1}^n{X}_j\left(\sum _{i=j}^n{a}_i\right)\right]}^2\\ & =\frac{{\sigma }^2}{n^2}\sum _{j=1}^n{\left(\sum _{i=j}^n{a}_i\right)}^2\\ & \le \frac{c^2{\sigma }^2}{n}\to 0(n\to \infty ).\end{array}$$

所以由马尔可夫大数定律知 $\{a_n{Y}_n\}$ 服从大数定律。

习题 4.3-15

设 $\{X_n\}$ 为独立同分布的随机变量序列，方差存在，令

$$Y_n=\sum _{i=1}^n{X}_i.$$

又设 $\{a_n\}$ 为一列常数，如果存在常数 $c>0$，使得对一切 $n$ 有

$$|n{a}_n|\le c,$$

证明 $\{a_n{Y}_n\}$ 服从大数定律。

解 证 与上一题一样，不妨设 $E(X_n)=0$，则 $\text{Var}(X_n)=E(X_n^2)={\sigma }^2$。对任意的 $n\ge k$，有

$$\sum _{i=k}^n|a_i|\le \frac{c}{n}(n-k+1),$$

因而

$$\sum _{k=1}^n{\left(\sum _{i=k}^n|a_i|\right)}^2\le \frac{c^2}{n^2}\sum _{k=1}^n(n-k+1{)}^2=\frac{c^2}{n^2}\cdot \frac{n(n+1)(2n+1)}{6}.$$

仿上一题的证明有

$$\frac{1}{n^2}\text{Var}\left(\sum _{i=1}^n{a}_i{Y}_i\right)\le \frac{{\sigma }^2}{n^2}\sum _{k=1}^n{\left(\sum _{i=k}^n|a_i|\right)}^2\le \frac{c^2{\sigma }^2}{6}\cdot \frac{(n+1)(2n+1)}{n^3}\to 0(n\to \infty ).$$

所以由马尔可夫大数定律知 $\{a_n{Y}_n\}$ 服从大数定律。

习题 4.3-16

设 $\{X_n\}$ 为独立同分布的随机变量序列，其方差有限，且 $X_n$ 不恒为常数。如果

$$S_n=\sum _{i=1}^n{X}_i,$$

试证：随机变量序列 $\{S_n\}$ 不服从大数定律。

解 证 记

$$T_n=\sum _{i=1}^n{S}_i=\left[\sum _{k=1}^n(n+1-k)X_k\right],$$

令 $\text{Var}(X_n)={\sigma }^2$，则

$$\text{Var}(T_n)=\sum _{k=1}^n(n+1-k{)}^2{\sigma }^2={\sigma }^2\frac{n(n+1)(2n+1)}{6}={\sigma }^2\frac{2n^3+3n^2+n}{6}.$$

由此得

$$\frac{{\sigma }^2{n}^3}{3}<\text{Var}(T_n)\le {\sigma }^2{n}^3.$$

倘若 $\{S_n\}$ 服从大数定律，则对任意的 $\epsilon >0$，有

$$\underset{n\to \infty }{\lim }P(|T_n-E(T_n)|\ge n\epsilon )=0.$$

于是，当 $n$ 充分大时，有

$$P(|T_n-E(T_n)|\ge n\epsilon )<\frac{{\epsilon }^2}{{\sigma }^2}.$$

记

$$A=\{|T_n-E(T_n)|<n\epsilon \},$$

则

$$P(\overline{A})<\frac{{\epsilon }^2}{{\sigma }^2},$$

由此得

$$\begin{array}{rl}\text{Var}(T_n)& =E[T_n-E(T_n){]}^2\\ & =P(A)E\{[T_n-E(T_n){]}^2\mid A\}+P(\overline{A})E\{[T_n-E(T_n){]}^2\mid \overline{A}\}\\ & \le P(A)\cdot n^2{\epsilon }^2+P(\overline{A})\cdot {\sigma }^2{n}^3\\ & \le n^2{\epsilon }^2+n^3{\epsilon }^2\\ & \le 2n^3{\epsilon }^2.\end{array}$$

由 $\epsilon$ 的任意性，不妨取 $2{\epsilon }^2<{\sigma }^2/3$，则当 $n$ 充分大时，有

$$\text{Var}(T_n)<\frac{{\sigma }^2{n}^3}{3},$$

这与前面推出的

$$\text{Var}(T_n)>\frac{{\sigma }^2{n}^3}{3}$$

相矛盾，所以 $\{S_n\}$ 不服从大数定律。

习题 4.3-17

分别用随机投点法和平均值法计算下列定积分：

$$J_1={\int }_0^1\frac{e^x-1}{e-1}dx,J_2={\int }_{-1}^1{e}^{x}dx.$$

解 **（1）**先计算 $J_1$。

随机投点法：先用计算机产生 $(0,1)$ 上均匀分布的 $2n$ 个随机数（譬如 $n=10^4$），构成 $n$ 个数对 $(x_i,y_i),i=1,2,\cdots ,n$。记

$$f_1(x)=\frac{e^x-1}{e-1}.$$

以 $n_1$ 记满足不等式 $y_i\le f_1(x_i)$ 的数对个数，则

$$J_1\approx \frac{n_1}{n}.$$

平均值法：先用计算机产生 $n$ 个 $(0,1)$ 上均匀分布的随机数 $x_i,i=1,2,\cdots ,n$，然后对每个 $x_i$ 计算 $f_1(x_i)$，最后得 $J_1$ 的估计值为

$$J_1\approx \frac{1}{n}\sum _{i=1}^n{f}_1(x_i).$$

**（2）**对于第二个积分 $J_2$，先将其化成 $[0,1]$ 区间上的积分。令

$$f_2(y)=\frac{1}{e-e^{-1}}(e^{-1+2y}-e^{-1}),y\in [0,1].$$

则 $0\le f_2(y)\le 1$。此时有

$$J_2={\int }_{-1}^1{e}^{x}dx=S_0{\int }_0^1{f}_2(y)dy+2e^{-1},$$

其中

$$S_0=2(e-e^{-1}).$$

随机投点法：先用计算机产生 $(0,1)$ 上均匀分布的 $2n$ 个随机数（譬如 $n=10^4$），构成 $n$ 个数对 $(x_i,y_i),i=1,2,\cdots ,n$。以 $n_2$ 记满足不等式 $y_i\le f_2(x_i)$ 的数对个数，则

$$J_2\approx S_0\cdot \frac{n_2}{n}+2e^{-1}.$$

平均值法：先用计算机产生 $n$ 个 $(0,1)$ 上均匀分布的随机数 $x_i,i=1,2,\cdots ,n$，然后对每个 $x_i$ 计算 $f_2(x_i)$，最后得 $J_2$ 的估计值为

$$J_2\approx S_0\cdot \frac{1}{n}\sum _{i=1}^n{f}_2(x_i)+2e^{-1}.$$