大数定律与中心极限定理

这篇笔记为综述性质，将介绍大数定律与中心极限定理的相关概念以及应用

我们先引入3种不同收敛的定义

三种随机变量收敛

1.依概率收敛

若对任意 $\epsilon >0$，都有

$$P(|Y_n-Y|>\epsilon )\to 0,$$

则称 $Y_n$ 依概率收敛到 $Y$，记作 $Y_n\stackrel{P}{\to }Y$

2.几乎处处收敛

若

$$P\left(\underset{n\to \infty }{\lim }{Y}_n=Y\right)=1,$$

则称 $Y_n$ 几乎处处收敛或几乎必然收敛到 $Y$，记作 $Y_n\stackrel{\text{a.s.}}{\to }Y$

3.依分布收敛

若在 $Y$ 的分布函数 $F_Y$ 的所有连续点 $x$ 上，都有 $F_{Y_n}(x)\to F_Y(x)$，则称 $Y_n$ 依分布收敛(弱收敛)到 $Y$，记作

$$Y_n\stackrel{d}{\to }Y$$

三种收敛之间有关系：

$$Y_n\stackrel{\text{a.s.}}{\to }Y⟹Y_n\stackrel{P}{\to }Y⟹Y_n\stackrel{d}{\to }Y.$$

我们这里证明几乎处处收敛能够推出依概率收敛:
设随机变量 $X_n$ 几乎处处收敛于 $X$，即

$$P(\{\omega :X_n(\omega )\nrightarrow X(\omega )\})=0.$$

要证明 $X_n$ 依概率收敛于 $X$，只需证明对任意 $\epsilon >0$，都有 $P(|X_n-X|>\epsilon )\to 0$
固定 $\epsilon >0$，定义指示函数

$$I_n(\omega )=1_{\{|X_n-X|>\epsilon \}}(\omega ).$$

由于 $X_n(\omega )\to X(\omega )$ $\text{a.s.}$，所以对几乎所有 $\omega$，当 $n$ 充分大时都有 $|X_n(\omega )-X(\omega )|\le \epsilon$，从而 $I_n(\omega )\to 0$ $\text{a.s.}$
又因为 $0\le I_n\le 1$，由控制收敛定理，

$$P(|X_n-X|>\epsilon )=E[I_n]⟶E[0]=0.$$

因此 $X_n\stackrel{P}{\to }X$。

反方向通常不成立。大数定律主要涉及依概率收敛或几乎处处收敛；中心极限定理涉及依分布收敛(弱收敛)

---

大数定律

弱大数定律

设 $X_1,X_2,\dots$ 独立同分布，且 $E(X_i)=\mu ,\mathrm{Var}(X_i)={\sigma }^2<\infty$，那么

$${\overline{X}}_n\stackrel{P}{\to }\mu .$$

即对任意 $\epsilon >0$

$$P(|{\overline{X}}_n-\mu |\ge \epsilon )\to 0.$$

因为 $X_i$ 独立同分布，所以

$$E({\overline{X}}_n)=\mu ,\mathrm{Var}({\overline{X}}_n)=\frac{1}{n^2}\sum _{i=1}^n\mathrm{Var}(X_i)=\frac{{\sigma }^2}{n}.$$

由概率论中常见的几种不等式 > 尾部不等式的 Chebyshev 不等式：

$$P(|{\overline{X}}_n-\mu |\ge \epsilon )\le \frac{\mathrm{Var}({\overline{X}}_n)}{{\epsilon }^2}=\frac{{\sigma }^2}{n{\epsilon }^2}\to 0.$$

强大数定律

设 $X_1,X_2,\dots$ 独立同分布，且 $E|X_1|<\infty ,E(X_1)=\mu$，那么

$${\overline{X}}_n\stackrel{a.s.}{\to }\mu .$$

即

$$P\left(\underset{n\to \infty }{\lim }{\overline{X}}_n=\mu \right)=1.$$

证明略

---

下面介绍3种常见的大数定律，都属于弱大数定律

伯努利大数定律

考虑独立重复进行同一种试验，每次试验只有“成功”和“失败”两种结果，成功概率恒为 $p$。令 $X_i$ 表示第 $i$ 次试验是否成功：

$$X_i=\{\begin{array}{ll}1,& \text{成功},\\ 0,& \text{失败}.\end{array}$$

设前 $n$ 次试验中成功的次数为 $S_n=X_1+\cdots +X_n$，则成功频率为 $S_n/n$。伯努利大数定律说明，对任意 $\epsilon >0$

$$P\left(\left|\frac{S_n}{n}-p\right|\ge \epsilon \right)\to 0,n\to \infty .$$

也就是说，试验次数越多，成功频率越可能接近成功概率 $p$

满足上面弱大数定律的条件，因此

$${\overline{X}}_n=\frac{X_1+\cdots +X_n}{n}=\frac{S_n}{n}\stackrel{P}{\to }p.$$

切比雪夫大数定律

设 $X_1,X_2,\dots$ 两两独立(这里不要求同分布)，且

$$\frac{1}{n^2}\sum _{k=1}^n\mathrm{Var}(X_k)⟶0.$$

则有

$$\frac{1}{n}\sum _{k=1}^n(X_k-E(X_k))\stackrel{P}{\to }0.$$

令 $Y_n=\frac{1}{n}{\sum }_{k=1}^n(X_k-E(X_k))$，显然 $E(Y_n)=0$。由独立性

$$\mathrm{Var}(Y_n)=\frac{1}{n^2}\sum _{k=1}^n\mathrm{Var}(X_k)⟶0.$$

由概率论中常见的几种不等式 > 尾部不等式的 Chebyshev 不等式：

$$P(|Y_n|\ge \epsilon )\le \frac{\mathrm{Var}(Y_n)}{{\epsilon }^2}⟶0.$$

伯努利大数定律实际上是切比雪夫大数定律的特殊情形

辛钦大数定律

设 $X_1,X_2,\dots$ 独立同分布，并且 $E|X_i|<\infty$。记 $\mu =E(X_1)$，则

$${\overline{X}}_n\stackrel{P}{\to }\mu .$$

也就是说，对任意 $\epsilon >0$

$$P\left(\left|{\overline{X}}_n-\mu \right|>\epsilon \right)\to 0.$$

辛钦大数定律的重要之处在于：只要求一阶绝对矩有限，不要求方差有限

证明的核心是先把过大的取值截掉，然后分段估计

对每个 $n$，定义

$$Y_{n,k}=X_k{1}_{\{|X_k|\le n\}},1\le k\le n.$$

也就是说，当 $|X_k|\le n$ 时保留 $X_k$，否则把它改成 $0$. 于是有

$$\{\exists k\le n:X_k\ne Y_{n,k}\}=\bigcup _{k=1}^n\{|X_k|>n\}.$$

现在由并集概率不等式，

$$P(\exists k\le n:X_k\ne Y_{n,k})\le nP(|X_1|>n).$$

因为在事件 $\{|X_1|>n\}$ 上有 $|X_1|\ge n$，所以

$$nP(|X_1|>n)=E\left[n{1}_{\{|X_1|>n\}}\right]\le E[|X_1|1_{\{|X_1|>n\}}]⟶0.$$

最后趋于 $0$ 是因为 $|X_1|1_{\{|X_1|>n\}}⟶0\text{a.s.}$ ，然后因为 $0\le |X_1|1_{\{|X_1|>n\}}\le |X_1|$，因此由控制收敛定理就有 $E\left[|X_1|1_{\{|X_1|>n\}}\right]⟶0.$

因此，在依概率收敛情况下，前 $n$ 个随机变量 $Y_{n,k}$ 都没有被截断，即

$$\frac{1}{n}\sum _{k=1}^n{X}_k-\frac{1}{n}\sum _{k=1}^n{Y}_{n,k}\stackrel{P}{\to }0.\text{\hspace{1em}(1)}$$

固定 $n$ 时，$Y_{n,1},\dots ,Y_{n,n}$ 独立同分布。因此

$$\mathrm{Var}\left(\frac{1}{n}\sum _{k=1}^n{Y}_{n,k}\right)=\frac{\mathrm{Var}(Y_{n,1})}{n}\le \frac{1}{n}E\left[X_1^2{1}_{\{|X_1|\le n\}}\right].$$

下面证明右边趋于 $0$。任取 $\delta >0$，把积分区域分成 $|X_1|\le \delta n$ 和 $\delta n<|X_1|\le n$，则

$$\frac{1}{n}E\left[X_1^2{1}_{\{|X_1|\le n\}}\right]\le \delta E|X_1|+E\left[|X_1|1_{\{|X_1|>\delta n\}}\right].$$

令 $n\to \infty$，第二项趋于 $0$，所以其上极限不超过 $\delta E|X_1|$。再令 $\delta \to 0$，就得到

$$\frac{1}{n}E\left[X_1^2{1}_{\{|X_1|\le n\}}\right]⟶0.$$

因此

$$\mathrm{Var}\left(\frac{1}{n}\sum _{k=1}^n{Y}_{n,k}\right)⟶0$$

现在由概率论中常见的几种不等式 > 尾部不等式的 Chebyshev 不等式：

$$P\left(\left|\frac{1}{n}\sum _{k=1}^n{Y}_{n,k}-E(Y_{n,1})\right|>\epsilon \right)\le \frac{1}{{\epsilon }^2}\mathrm{Var}\left(\frac{1}{n}\sum _{k=1}^n{Y}_{n,k}\right)⟶0\text{\hspace{1em}(2)}$$

由于 $|X_1|$ 可积，且 $X_1{1}_{\{|X_1|\le n\}}\to X_1$，由控制收敛定理，

$$E(Y_{n,1})=E\left[X_1{1}_{\{|X_1|\le n\}}\right]⟶E(X_1)=\mu .\text{\hspace{1em}(3)}$$

最后可以分解为

$${\overline{X}}_n-\mu =\left({\overline{X}}_n-\frac{1}{n}\sum _{k=1}^n{Y}_{n,k}\right)+\left(\frac{1}{n}\sum _{k=1}^n{Y}_{n,k}-E(Y_{n,1})\right)+\left(E(Y_{n,1})-\mu \right).$$

根据式 $(1),(2),(3)$ , 三项分别依概率趋于 $0$、依概率趋于 $0$、普通收趋于 $0$，所以 ${\overline{X}}_n\stackrel{P}{\to }\mu$
于是我们就完成了证明

---

中心极限定理

林德伯格–列维中心极限定理

设 $X_1,X_2,\dots$ 独立同分布，且 $E(X_i)=\mu$、$\mathrm{Var}(X_i)={\sigma }^2\in (0,\infty )$。令 $S_n=X_1+\cdots +X_n$，则

$$\frac{S_n-n\mu }{\sigma \sqrt{n}}\stackrel{d}{\to }N(0,1).$$

即

$$\underset{n\to \infty }{\lim }P\left(\frac{S_n-n\mu }{\sigma \sqrt{n}}\le x\right)=\Phi (x)=\frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^x{e}^{-t^2/2}dt.$$

令 $Y_i=(X_i-\mu )/\sigma$，则 $Y_1,Y_2,\dots$ 独立同分布，并且 $E(Y_i)=0$、$E(Y_i^2)=1$。于是

$$\frac{S_n-n\mu }{\sigma \sqrt{n}}=\frac{Y_1+\cdots +Y_n}{\sqrt{n}}.$$

记 $Z_n=(Y_1+\cdots +Y_n)/\sqrt{n}$。只需证明 $Z_n\stackrel{d}{\to }N(0,1)$。
设 $Y$ 与 $Y_i$ 同分布，其特征函数为 $\phi (t)=E(e^{itY})$，因为 $E(Y)=0$，所以

$$\phi (t)-1=E(e^{itY}-1-itY).$$

考虑

$$\frac{\phi (t)-1}{t^2}=E\left[\frac{e^{itY}-1-itY}{t^2}\right].$$

对固定的 $y$，由 Taylor 展开: $e^{ix}=1+ix-x^2/2+o(x^2)$，有

$$\frac{e^{ity}-1-ity}{t^2}⟶-\frac{y^2}{2}.$$

此外，对所有实数 $x$，有 $|e^{ix}-1-ix|\le x^2/2$，因此

$$\left|\frac{e^{itY}-1-itY}{t^2}\right|\le \frac{Y^2}{2}.$$

由于 $E(Y^2)=1<\infty$，可用控制收敛定理，得到

$$\underset{t\to 0}{\lim }\frac{\phi (t)-1}{t^2}=-\frac{1}{2}E(Y^2)=-\frac{1}{2}.$$

因此

$$\phi (t)=1-\frac{t^2}{2}+o(t^2),t\to 0.$$

由独立性，$Z_n$ 的特征函数为

$${\phi }_{Z_n}(t)=E\exp \left(it\frac{Y_1+\cdots +Y_n}{\sqrt{n}}\right)=\prod _{k=1}^n\phi \left(\frac{t}{\sqrt{n}}\right)={\left[\phi \left(\frac{t}{\sqrt{n}}\right)\right]}^n.$$

利用上面的展开，

$$\phi \left(\frac{t}{\sqrt{n}}\right)=1-\frac{t^2}{2n}+o\left(\frac{1}{n}\right).$$

因此

$${\phi }_{Z_n}(t)={\left[1-\frac{t^2}{2n}+o\left(\frac{1}{n}\right)\right]}^n⟶e^{-t^2/2}.$$

函数 $e^{-t^2/2}$ 正是标准正态分布 $N(0,1)$ 的特征函数。由 Lévy 连续性定理，

$$Z_n\stackrel{d}{\to }N(0,1).$$

即

$$\frac{S_n-n\mu }{\sigma \sqrt{n}}\stackrel{d}{\to }N(0,1).$$

等价地，对任意 $x\in \mathbb{R}$，

$$P\left(\frac{S_n-n\mu }{\sigma \sqrt{n}}\le x\right)⟶\Phi (x),$$

其中 $\Phi (x)$ 是标准正态分布函数

---

棣莫弗–拉普拉斯中心极限定理

设 $X_n\sim B(n,p)$，则当 $n\to \infty$ 时，

$$\frac{X_n-np}{\sqrt{np(1-p)}}\stackrel{d}{\to }N(0,1).$$

即

$$\underset{n\to \infty }{\lim }P\left(\frac{X_n-np}{\sqrt{np(1-p)}}\le x\right)=\Phi (x)=\frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^x{e}^{-t^2/2}dt.$$

设 $0<p<1$，记 $q=1-p$。取一列独立同分布的伯努利随机变量 ${\xi }_1,{\xi }_2,\dots$，满足

$$P({\xi }_k=1)=p,P({\xi }_k=0)=q.$$

则

$$E({\xi }_k)=p,\mathrm{Var}({\xi }_k)=p(1-p)=pq.$$

令 $S_n={\sum }_{k=1}^n{\xi }_k$。由独立性可知，对 $j=0,1,\dots ,n$，

$$P(S_n=j)=\left(\genfrac{}{}{0ex}{}{n}{j}\right)p^j{q}^{n-j},$$

因此 $S_n\sim B(n,p)$，即 $S_n$ 与 $X_n$ 同分布。
对独立同分布随机变量 ${\xi }_1,{\xi }_2,\dots$ 应用林德伯格–列维中心极限定理，得到

$$\frac{{\sum }_{k=1}^n{\xi }_k-nE({\xi }_1)}{\sqrt{n\mathrm{Var}({\xi }_1)}}=\frac{S_n-np}{\sqrt{np(1-p)}}\stackrel{d}{\to }N(0,1).$$

又因为 $S_n\stackrel{d}{=}{X}_n$，所以

$$\frac{X_n-np}{\sqrt{np(1-p)}}\stackrel{d}{\to }N(0,1).$$

---

李雅普诺夫中心极限定理

设 $X_1,X_2,\dots$ 相互独立(不一定同分布)，记

$$E(X_k)={\mu }_k,\mathrm{Var}(X_k)={\sigma }_k^2,s_n^2=\sum _{k=1}^n{\sigma }_k^2.$$

若存在某个 $\delta >0$，使

$$\frac{1}{s_n^{2+\delta }}\sum _{k=1}^{n}E|X_k-{\mu }_k{|}^{2+\delta }\to 0,$$

则

$$\frac{{\sum }_{k=1}^n(X_k-{\mu }_k)}{s_n}\stackrel{d}{\to }N(0,1).$$

证明略

---

下面看一个用中心极限定理计算的极限题

例

计算

$$\underset{n\to \infty }{\lim }\left(1+n+\frac{n^2}{2!}+\cdots \frac{n^n}{n!}\right)e^{-n}=\frac{1}{2}$$

令 $X_n\sim \mathrm{Poisson}(n)$。由泊松分布的概率质量函数，

$$P(X_n=k)=e^{-n}\frac{n^k}{k!},$$

所以原式等于

$$e^{-n}\sum _{k=0}^n\frac{n^k}{k!}=P(X_n\le n).$$

为了使用中心极限定理，由矩母函数 > 推导独立随机变量和的分布，我们知道泊松分布具有可加性，于是可以把 $X_n$ 写成 $n$ 个独立同分布的泊松随机变量之和。设 $Y_1,\dots ,Y_n$ 独立同分布，且 $Y_i\sim \mathrm{Poisson}(1)$，则

$$X_n\stackrel{d}{=}{Y}_1+\cdots +Y_n.$$

由于 $E(Y_i)=1$、$\mathrm{Var}(Y_i)=1$，根据林德伯格–列维中心极限定理，

$$\frac{X_n-n}{\sqrt{n}}\stackrel{d}{\to }N(0,1).$$

于是

$$P(X_n\le n)=P\left(\frac{X_n-n}{\sqrt{n}}\le 0\right)⟶\Phi (0)=\frac{1}{2}.$$

从而

$$\underset{n\to \infty }{\lim }{e}^{-n}\left(1+n+\frac{n^2}{2!}+\cdots +\frac{n^n}{n!}\right)=\frac{1}{2}$$