这篇笔记为综述性质,将介绍矩母函数的定义、基本性质及其在计算矩和判断独立随机变量之和分布中的作用,并总结常见离散与连续分布的矩母函数及可加性
对于取非负整数值的随机变量 X , 设 P(X=k)=pk , 现在我们考虑一个生成函数
GX(z)=k≥0∑pkzk=E[zX].
若 X,Y 独立,那么
GX+Y(z)=E[zX+Y]=E[zX]E[zY]=GX(z)GY(z).
于是我们将随机变量相加的关系变为了函数相乘的关系。现在令 z=et,就得到
GX(et)=E[etX]=MX(t).
而指数函数的泰勒展开恰好是
etX=n=0∑∞n!Xntn,
所以在允许交换期望与求导时,
MX(t)=n=0∑∞n!E[Xn]tn,MX(n)(0)=E[Xn].
这就提供了一种计算各阶矩的方式,称这个函数为矩母函数
对于一个随机变量 X,其矩母函数 MX(t) 定义为
MX(t)=E[etX]
性质1: 如果两个随机变量 X 和 Y 的矩母函数在 t=0 的某个邻域内相等(即 MX(t)=MY(t)),那么这两个随机变量必定服从完全相同的概率分布
性质2: 如果 X 和 Y 是两个相互独立的随机变量,那么 MX+Y(t)=MX(t)⋅MY(t)
常见分布的矩母函数
接下来我们计算常见的几个分布的矩母函数,并以此计算其期望和方差
离散分布
X∼B(1,p),其矩母函数为
MX(t)=1−p+pet
P(X=1)=p, P(X=0)=1−p,于是
MX(t)=e0t(1−p)+etp=1−p+pet.
E(X)=MX′(0)=p,E(X2)=MX′′(0)=p,因此 Var(X)=p(1−p)
X∼B(n,p),即
P(X=k)=(kn)pk(1−p)n−k,k=0,…,n.
其矩母函数为
MX(t)=(1−p+pet)n
直接计算得到
MX(t)=k=0∑netk(kn)pk(1−p)n−k=k=0∑n(kn)(pet)k(1−p)n−k=(1−p+pet)n,
E(X)=MX′(0)=np,E(X2)=MX′′(0)=np(1−p)+n2p2,Var(X)=np(1−p)
X∼GE(p),每次试验成功的概率为 p,失败的概率为 q=1−p
P(X=x)=qx−1p
其矩母函数为
MX(t)=1−qetpet
直接计算有
MX(t)=x=1∑∞etxqx−1p=qpx=1∑∞(qet)x=1−qetpet,假设qet<1
E(X)=MX′(0)=p1,E(X2)=MX′′(0)=p22−p,Var(X)=p21−p
X∼NB(r,p),每次试验成功概率为 p,失败概率为 q=1−p
P(X=x)=(r−1x−1)prqx−r
其矩母函数为
MX(t)=(1−qetpet)r
这个证明要用到下面的负二项展开定理,我们简单证明一下
(1−z)−r=k=0∑∞(kk+r−1)zk
对于任意实数 α 和满足 ∣x∣<1 的实数 x,由 Taylor展开不难得到广义二项式展开
(1+x)α=n=0∑∞(nα)xn
其中,广义二项式系数定义为:
(nα)=n!α(α−1)(α−2)⋯(α−n+1)
取 α=−r, x=−z,得到
(1−z)−r=k=0∑∞(k−r)(−z)k.
其中
(−1)k(k−r)=(−1)kk!(−r)(−r−1)⋯(−r−k+1)=k!r(r+1)⋯(r+k−1)=(kk+r−1).
因此就得到了原式。现在计算其矩母函数
令 k=x−r,则 x=k+r,且当 x=r,r+1,… 时,k=0,1,…。因此
MX(t)=E(etX)=x=r∑∞etx(r−1x−1)prqx−r=k=0∑∞et(k+r)(r−1k+r−1)prqk=prertk=0∑∞(kk+r−1)(qet)k.
利用刚刚证明的负二项展开公式,取 z=qet,在 ∣qet∣<1 时,
k=0∑∞(kk+r−1)(qet)k=(1−qet)−r.
于是
MX(t)=prert(1−qet)−r=(1−qetpet)r.
E(X)=MX′(0)=pr,E(X2)=p2r(r+q),Var(X)=p2rq
设 X∼Poisson(λ),即
P(X=k)=e−λk!λk.
其矩母函数为
MX(t)=eλ(et−1),t∈R
现在直接计算有
MX(t)=k=0∑∞etke−λk!λk=e−λk=0∑∞k!(λet)k=e−λeλet=eλ(et−1),t∈R.
因此
E(X)=λ,E(X2)=λ2+λ,Var(X)=λ
连续分布
X∼U(a,b),f(x)=b−a11{a<x<b},矩母函数为
MX(t)=b−a1∫abetxdx=⎩⎨⎧(b−a)tebt−eat,1,t=0,t=0.
期望和方差此时直接按照定义更好计算,直接积分得
E(X)=b−a1∫abxdx=2a+b
二阶矩为
E(X2)=b−a1∫abx2dx=3(b−a)b3−a3=3a2+ab+b2
因此
Var(X)=3a2+ab+b2−(2a+b)2=12(b−a)2.
X∼Exp(λ),f(x)=λe−λx1{x≥0}
MX(t)=λ∫0∞e−(λ−t)xdx=λ−tλ.
由 MX′(t)=(λ−t)2λ、MX′′(t)=(λ−t)32λ,得到
E(X)=λ1,E(X2)=λ22,Var(X)=λ21.
X∼N(μ,σ2),其密度和分布函数为
f(x)=2πσ1e−2σ2(x−μ)2,F(x)=Φ(σx−μ),
矩母函数为
MX(t)=eμt+2σ2t2,t∈R.
现在计算其矩母函数
MX(t)=∫−∞+∞2πσ1e−2σ2(x−μ)2etxdx=∫−∞+∞2πσ1e−2σ2[x−(μ+σ2t)]2+μt+2σ2t2dx=eμt+2σ2t2
MX′(t)=(μ+σ2t)MX(t) 及 MX′′(t)=[σ2+(μ+σ2t)2]MX(t),得到
E(X)=μ,E(X2)=μ2+σ2,Var(X)=σ2.
X∼Γ(α,λ),其密度函数为
f(x)=Γ(α)λαxα−1e−λx1{x>0}
矩母函数为
MX(t)=(λ−tλ)α.
现在直接计算矩母函数
MX(t)=Γ(α)λα∫0∞xα−1e−(λ−t)xdx=(λ−tλ)αΓ(α)λα∫0∞yα−1e−λydy,(y=λλ−tx)=(λ−tλ)α
E(X)=MX′(0)=λα,E(X2)=λ2α(α+1),Var(X)=λ2α
X∼χν2,卡方分布是 Gamma 分布的特殊情形:
χν2=Γ(2ν,21).
密度函数为
f(x)=22νΓ(2ν)x2ν−1e−2x1{x>0}
矩母函数为
MX(t)=(1−2t)−2ν.
代入 Gamma 分布公式,当 t<21 时,
MX(t)=(1−2t)−ν/2.
相应地,
E(X)=ν,E(X2)=ν(ν+2),Var(X)=2ν.
推导独立随机变量和的分布
若 X,Y 独立,则
MX+Y(t)=MX(t)MY(t).
这是矩母函数最实用的地方之一,现在我们来推导常见分布的独立变量和的分布
Xi∼B(1,p) 相互独立,因此
MXi(t)=E[etXi]=(1−p)e0+pet=1−p+pet.
于是
MSn(t)=i=1∏nMXi(t)=(1−p+pet)n.
这就是二项分布的矩母函数,因此由矩母函数的唯一性,就有
i=1∑nXi∼B(i=1∑nmi,p)
同时这也证明了伯努利分布,二项分布的可加性
伯努利分布描述的是单次试验的结果,而二项分布描述的是在 n 次独立重复试验中总共成功的次数,所以将 n 个独立且成功概率相同的伯努利分布加在一起,其结果自然就构成了二项分布
设 Xi∼Poisson(λi) 相互独立。泊松变量的矩母函数为
MXi(t)=exp(λi(et−1)).
所以
MSn(t)=i=1∏nexp(λi(et−1))=exp[(i=1∑nλi)(et−1)].
因此
i=1∑nXi∼Poisson(i=1∑nλi)
同时这也证明了泊松分布的可加性
泊松分布描述的是在特定时间内随机且独立发生的事件次数,多个独立泊松分布相加,本质上是将多组互不干扰的随机事件流拼成一个总事件流,所以其总和依然严格服从泊松分布
设 Xi∼N(μi,σi2) 相互独立。正态分布的矩母函数为
MXi(t)=exp(μit+21σi2t2).
于是
MSn(t)=i=1∏nexp(μit+21σi2t2)=exp[(i=1∑nμi)t+21(i=1∑nσi2)t2].
这是正态分布 N(∑i=1nμi,∑i=1nσi2) 的矩母函数。因此
i=1∑nXi∼N(i=1∑nμi,i=1∑nσi2)
同时这也证明了正态分布的可加性
正态变量可以看成许多细小、独立、方向随机的扰动叠加出来的结果;把两个这样的变量相加,只是把两组扰动合并,整体的中心会移动、波动会变大,但“中间最常见、两边越来越少”的钟形结构不会改变
Xi∼Exp(λ) 相互独立,其矩母函数为
MXi(t)=λ∫0∞e−(λ−t)xdx=λ−tλ.
因此
MSn(t)=(λ−tλ)n.
这正是Gamma分布 Γ(n,λ) 的矩母函数,因此
X1+⋯+Xn∼Γ(n,λ)
同时这也证明了指数分布,Gamma分布,卡方分布的可加性
指数分布本质上描述的是“等待单一随机事件发生所需的时间”。将多个独立的指数分布相加,相当于你在时间轴上连续不断地等待一系列事件依次发生。这种一段段拼接起来的总等待时间,其物理意义自然就变成了“等待多个事件全部发生所需的总时间”,而这恰好就是 Gamma 分布所定义的底层概念
Xi∼GE(p) 相互独立,Xi 的矩母函数为
MXi(t)=1−qetpet
因此
MSn(t)=(1−qetpet)n
这正是负二项分布的矩母函数,因此
i=1∑nXi∼NB(n,p).
同时这也证明了负二项分布的可加性
几何分布描述的是“不断重复尝试,直到获得单次成功所需的总次数”。将多个独立的几何分布相加,相当于你在经历了一次成功后立即重新开始,继续等待下一次成功。这种一段段“等待单次成功”的过程累加起来,其整体的意义自然就变成了“不断尝试,直到累计获得 n 次成功所需的总次数”,而这恰好就是负二项分布的定义
接下来我们推导标准正态分布平方和的可加性,这会将指数分布,Gamma分布,正态分布,卡方分布全部串联一起
设 Xi∼N(0,1) 相互独立,则
i=1∑nXi2∼χn2.
其中
χn2=Γ(2n,21).
我们首先来计算 Xi2 的矩母函数
MXi2(t)=E(etXi2)=2π1∫−∞∞etx2e−x2/2dx=2π1∫−∞∞e−21−2tx2dx=(1−2t)−1/2.
由于 X1,…,Xn 相互独立,所以 X12,…,Xn2 也相互独立,令 Q=∑i=1nXi2,因此
MQ(t)=i=1∏nMXi2(t)=((1−2t)−1/2)n=(1−2t)−n/2,t<21.
而自由度为 n 的卡方分布 χn2 的矩母函数正是 M(t)=(1−2t)−n/2
在之前我们推导过,卡方分布是特殊的Gamma分布
χn2=Γ(2n,21).
而Gamma分布又是指数分布 Yi 之和:
Y1+⋯+Yn∼Γ(n,λ)
那么现在得到
i=1∑2nXi2∼χ2n2=Γ(n,21)∼Y1+⋯+Yn
其中 Xi∼N(0,1), Yi∼Exp(21). 可以看出正态分布竟然和指数分布有关
最后我们总结一下上面所有分布的性质为两张表格:
| 分布 | 概率质量函数或密度函数 | 矩母函数 | 可加性条件 | 相加后的分布 |
|---|
伯努利分布 X∼B(1,p) | P(X=x)=px(1−p)1−x,x∈{0,1} | MX(t)=1−p+pet,t∈R | Xi∼B(1,p),i=1,…,n | i=1∑nXi∼B(n,p) |
二项分布 X∼B(n,p) | P(X=k)=(kn)pk(1−p)n−k,k=0,…,n | MX(t)=(1−p+pet)n,t∈R | Xi∼B(ni,p) 且成功概率 p 相同 | i=1∑mXi∼B(i=1∑mni,p) |
几何分布 X∼GE(p) | P(X=x)=qx−1p,x=1,2,… | MX(t)=1−qetpet,t<−lnq | Xi∼GE(p),i=1,…,n | i=1∑nXi∼NB(n,p) |
负二项分布 X∼NB(r,p) | P(X=x)=(r−1x−1)prqx−r,x=r,r+1,… | MX(t)=(1−qetpet)r,t<−lnq | Xi∼NB(ri,p) 且成功概率 p 相同 | i=1∑mXi∼NB(i=1∑mri,p) |
泊松分布 X∼Poisson(λ) | P(X=k)=e−λk!λk,k=0,1,… | MX(t)=eλ(et−1),t∈R | Xi∼Poisson(λi) | i=1∑nXi∼Poisson(i=1∑nλi) |
均匀分布 X∼U(a,b) | fX(x)=b−a11{a<x<b} | MX(t)=⎩⎨⎧(b−a)tebt−eat,1,t=0,t=0, | 一般不具有同一分布族内的可加性 | 独立均匀随机变量之和一般不再服从均匀分布,其密度由卷积得到 |
指数分布 X∼Exp(λ) | fX(x)=λe−λx1{x≥0} | MX(t)=λ−tλ,t<λ | Xi∼Exp(λ),i=1,…,n | i=1∑nXi∼Γ(n,λ) |
正态分布 X∼N(μ,σ2) | fX(x)=2πσ1e−2σ2(x−μ)2 | MX(t)=eμt+21σ2t2,t∈R | Xi∼N(μi,σi2) | i=1∑nXi∼N(i=1∑nμi,i=1∑nσi2) |
Gamma 分布 X∼Γ(α,λ) | fX(x)=Γ(α)λαxα−1e−λx1{x>0} | MX(t)=(λ−tλ)α,t<λ | Xi∼Γ(αi,λ) 且率参数 λ 相同 | i=1∑nXi∼Γ(i=1∑nαi,λ) |
卡方分布 X∼χν2 | fX(x)=22νΓ(2ν)x2ν−1e−2x1{x>0} | MX(t)=(1−2t)−2ν,t<21 | Xi∼χνi2 | i=1∑nXi∼χ∑i=1nνi2 |
| 联系 | 结论 |
|---|
| 伯努利分布与二项分布 | Xi∼B(1,p)⟹i=1∑nXi∼B(n,p) |
| 二项分布的可加性 | Xi∼B(ni,p)⟹i=1∑mXi∼B(i=1∑mni,p) |
| 几何分布与负二项分布 | Xi∼GE(p)⟹i=1∑rXi∼NB(r,p) |
| 负二项分布的可加性 | Xi∼NB(ri,p)⟹i=1∑mXi∼NB(i=1∑mri,p) |
| 指数分布与 Gamma 分布 | Xi∼Exp(λ)⟹i=1∑nXi∼Γ(n,λ) |
| 卡方分布与 Gamma 分布 | χν2=Γ(2ν,21) |
| 标准正态分布与卡方分布 | X1,…,Xn∼iidN(0,1)⟹i=1∑nXi2∼χn2 |
| 正态平方和与指数分布 | i=1∑2nXi2∼χ2n2=Γ(n,21) |
评论
支持 Markdown 和 LaTeX 数学公式。