这篇笔记为综述性质,将介绍矩母函数的定义、基本性质及其在计算矩和判断独立随机变量之和分布中的作用,并总结常见离散与连续分布的矩母函数及可加性

对于取非负整数值的随机变量 , 设 , 现在我们考虑一个生成函数

独立,那么

于是我们将随机变量相加的关系变为了函数相乘的关系。现在令 ,就得到

而指数函数的泰勒展开恰好是

所以在允许交换期望与求导时,

这就提供了一种计算各阶矩的方式,称这个函数为矩母函数

矩母函数

对于一个随机变量 ,其矩母函数 定义为

性质1: 如果两个随机变量 的矩母函数在 的某个邻域内相等(即 ),那么这两个随机变量必定服从完全相同的概率分布

性质2: 如果 是两个相互独立的随机变量,那么


常见分布的矩母函数

接下来我们计算常见的几个分布的矩母函数,并以此计算其期望和方差

离散分布

1.伯努利分布

,其矩母函数为

,于是

,因此

2.二项分布

,即

其矩母函数为

直接计算得到

3.几何分布

,每次试验成功的概率为 ,失败的概率为

其矩母函数为

直接计算有

4.负二项分布

,每次试验成功概率为 ,失败概率为

其矩母函数为

这个证明要用到下面的负二项展开定理,我们简单证明一下

对于任意实数 和满足 的实数 ,由 Taylor展开不难得到广义二项式展开

其中,广义二项式系数定义为:

,得到

其中

因此就得到了原式。现在计算其矩母函数
,则 ,且当 时,。因此

利用刚刚证明的负二项展开公式,取 ,在 时,

于是

5.泊松分布

,即

其矩母函数为

现在直接计算有

因此


连续分布

1.均匀分布

,矩母函数为

期望和方差此时直接按照定义更好计算,直接积分得

二阶矩为

因此

2.指数分布

,得到

3.正态分布

,其密度和分布函数为

矩母函数为

现在计算其矩母函数

,得到

4.Gamma 分布

,其密度函数为

矩母函数为

现在直接计算矩母函数

5.卡方分布

,卡方分布是 Gamma 分布的特殊情形:

密度函数为

矩母函数为

代入 Gamma 分布公式,当 时,

相应地,


推导独立随机变量和的分布

独立,则

这是矩母函数最实用的地方之一,现在我们来推导常见分布的独立变量和的分布

伯努利分布之和为二项分布

相互独立,因此

于是

这就是二项分布的矩母函数,因此由矩母函数的唯一性,就有

同时这也证明了伯努利分布,二项分布的可加性

伯努利分布描述的是单次试验的结果,而二项分布描述的是在 次独立重复试验中总共成功的次数,所以将 个独立且成功概率相同的伯努利分布加在一起,其结果自然就构成了二项分布

泊松分布之和仍为泊松分布

相互独立。泊松变量的矩母函数为

所以

因此

同时这也证明了泊松分布的可加性

泊松分布描述的是在特定时间内随机且独立发生的事件次数,多个独立泊松分布相加,本质上是将多组互不干扰的随机事件流拼成一个总事件流,所以其总和依然严格服从泊松分布

正态分布之和仍为正态分布

相互独立。正态分布的矩母函数为

于是

这是正态分布 的矩母函数。因此

同时这也证明了正态分布的可加性

正态变量可以看成许多细小、独立、方向随机的扰动叠加出来的结果;把两个这样的变量相加,只是把两组扰动合并,整体的中心会移动、波动会变大,但“中间最常见、两边越来越少”的钟形结构不会改变

指数分布之和为 Gamma 分布

相互独立,其矩母函数为

因此

这正是Gamma分布 的矩母函数,因此

同时这也证明了指数分布,Gamma分布,卡方分布的可加性

指数分布本质上描述的是“等待单一随机事件发生所需的时间”。将多个独立的指数分布相加,相当于你在时间轴上连续不断地等待一系列事件依次发生。这种一段段拼接起来的总等待时间,其物理意义自然就变成了“等待多个事件全部发生所需的总时间”,而这恰好就是 Gamma 分布所定义的底层概念

几何分布之和为负二项分布

相互独立, 的矩母函数为

因此

这正是负二项分布的矩母函数,因此

同时这也证明了负二项分布的可加性

几何分布描述的是“不断重复尝试,直到获得单次成功所需的总次数”。将多个独立的几何分布相加,相当于你在经历了一次成功后立即重新开始,继续等待下一次成功。这种一段段“等待单次成功”的过程累加起来,其整体的意义自然就变成了“不断尝试,直到累计获得 次成功所需的总次数”,而这恰好就是负二项分布的定义

接下来我们推导标准正态分布平方和的可加性,这会将指数分布,Gamma分布,正态分布,卡方分布全部串联一起

标准正态随机变量的平方和是卡方分布

相互独立,则

其中

我们首先来计算 的矩母函数

由于 相互独立,所以 也相互独立,令 ,因此

而自由度为 的卡方分布 的矩母函数正是
在之前我们推导过,卡方分布是特殊的Gamma分布

而Gamma分布又是指数分布 之和:

那么现在得到

其中 , . 可以看出正态分布竟然和指数分布有关


最后我们总结一下上面所有分布的性质为两张表格:

分布概率质量函数或密度函数矩母函数可加性条件相加后的分布
伯努利分布
二项分布
且成功概率 相同
几何分布
负二项分布
且成功概率 相同
泊松分布
均匀分布
一般不具有同一分布族内的可加性独立均匀随机变量之和一般不再服从均匀分布,其密度由卷积得到
指数分布
正态分布
Gamma 分布
且率参数 相同
卡方分布

联系结论
伯努利分布与二项分布
二项分布的可加性
几何分布与负二项分布
负二项分布的可加性
指数分布与 Gamma 分布
卡方分布与 Gamma 分布
标准正态分布与卡方分布
正态平方和与指数分布