特征函数

在矩母函数中，我们介绍了用矩母函数求高阶矩，求多个随机变量之和的分布，非常的方便

$$M_X(t)=E[e^{tX}]$$

不过为了让这个期望存在，积分或求和都必须收敛，当 $t>0$ 时，$e^{tX}$ 会增长地过快，从而可能导致最后的积分/级数发散。为了解决这类问题，我们需要使用特征函数:

$${\phi }_X(t)=E[e^{itX}]$$

而 $|e^{itX}|=1$，因此总有 $|{\phi }_X(t)|\le 1$，期望必然存在。类似的，特征函数和高阶矩之间的关系如下:

$$E[X^n]=(-i{)}^n{\phi }_X^{(n)}(0)$$

事实上，由Taylor展开

$$e^{itX}=\sum _{n=0}^{\infty }\frac{(itX{)}^n}{n!}=1+itX+\frac{(itX{)}^2}{2!}+\frac{(itX{)}^3}{3!}+\dots$$

两边取期望，得到

$${\phi }_X(t)=E\left[\sum _{n=0}^{\infty }\frac{i^n{t}^n{X}^n}{n!}\right]=\sum _{n=0}^{\infty }\frac{i^{n}E[X^n]}{n!}{t}^n$$

对比Taylor展开的系数，就有

$$\frac{{\phi }_X^{(n)}(0)}{n!}=\frac{i^{n}E[X^n]}{n!}$$

即

$$E[X^n]=(-i{)}^n{\phi }_X^{(n)}(0)$$

---

为了看出两者的适用范围，我们拿标准 Cauchy 分布举例

Cauchy 分布的矩母函数和特征函数

$X\sim C(0,1)$，其密度函数为

$$f(x)=\frac{1}{\pi (1+x^2)}$$

其矩母函数 $M_X(t)$ 不存在，特征函数为

$${\phi }_X(t)=E(e^{itX})=e^{-|t|}$$

直接计算有

$$M_X(t)=\frac{1}{\pi }{\int }_{-\infty }^{\infty }\frac{e^{tx}}{1+x^2}dx.$$

当 $t>0$ 时，$\exists A>0$，使得 $x>A$ 时，有 $1+x^2<2x^2$，于是

$$M_X(t)\ge \frac{1}{2\pi }{\int }_A^{\infty }\frac{e^{tx}}{x^2}dx\to \infty$$

当 $t<0$ 时，$\exists B<0$，使得 $x<B$ 时，有 $1+x^2<2x^2$，于是

$$M_X(t)\ge \frac{1}{2\pi }{\int }_{-\infty }^B\frac{e^{tx}}{x^2}dx\to \infty$$

当 $t=0$ 时，$M_X(t)=1$
现在我们计算其特征函数:

$${\phi }_X(t)=E(e^{itX})=\frac{1}{\pi }{\int }_{-\infty }^{\infty }\frac{e^{itx}}{1+x^2}dx$$

我们通过留数定理计算这个积分
考虑上半平面的半圆闭合路径以及 $f(z)=\frac{e^{itz}}{1+z^2}$ ，$z=x+iy$，其在 $z=\pm i$ 有两个极点
当 $t>0$ 时，只有一个极点 $z=i$，计算留数得到

$$\text{Res}(f(z),i)=\underset{z\to i}{\lim }(z-i)\frac{e^{itz}}{(z-i)(z+i)}=\frac{e^{it(i)}}{i+i}=\frac{e^{-t}}{2i}$$

而圆弧部分的积分，因为当 $R\to \infty$ 时 $f(z)\to 0$，由Jordan引理，圆弧上的积分为0，因此

$${\int }_{-\infty }^{\infty }\frac{e^{itx}}{1+x^2}dx=2\pi i\cdot \frac{e^{-t}}{2i}=\pi e^{-t}$$

同理，当 $t<0$ 时，为了让圆弧上的积分为0，此时应该选取下半平面的半圆闭合路径，此时为顺时针，极点为 $z=-i$，因此

$${\mathrm{Res}}_{z=-i}f(z)=\frac{e^{it(-i)}}{-2i}=-\frac{e^t}{2i}.$$

故

$${\int }_{-\infty }^{\infty }\frac{e^{itx}}{1+x^2}dx=-2\pi i\left(-\frac{e^t}{2i}\right)=\pi e^t.$$

当 $t=0$ 时，$M_X(t)=1$. 综上

$${\phi }_X(t)=e^{-|t|},t\in \mathbb{R}$$

容易验证特征函数在原点不可导，因此标准柯西分布的期望和方差都不存在

---

当矩母函数 $M_X(t)$ 在 $0$ 的邻域内存在时，$E[e^{zX}]$ 是它的解析延拓，特征函数 ${\phi }_X(t)$ 是该延拓在虚轴上的取值，因此我们把矩母函数公式里的实变量 $t$ 直接换成 $iu$，矩母函数中各个分布的矩母函数可直接得到对应的特征函数:

分布	矩母函数 $M_X(t)$	特征函数 ${\phi }_X(u)=M_X(iu)$
伯努利分布 $B(1,p)$	$1-p+p{e}^t$	$1-p+p{e}^{iu}$
二项分布 $B(n,p)$	$(1-p+p{e}^t{)}^n$	$(1-p+p{e}^{iu}{)}^n$
几何分布 $GE(p)$	$\frac{p{e}^t}{1-q{e}^t}$	$\frac{p{e}^{iu}}{1-q{e}^{iu}}$
负二项分布 $NB(r,p)$	${\left(\frac{p{e}^t}{1-q{e}^t}\right)}^r$	${\left(\frac{p{e}^{iu}}{1-q{e}^{iu}}\right)}^r$
泊松分布 $\mathrm{Poisson}(\lambda )$	$e^{\lambda (e^t-1)}$	$e^{\lambda (e^{iu}-1)}$
均匀分布 $U(a,b)$	$\frac{e^{bt}-e^{at}}{(b-a)t}$	$\frac{e^{iub}-e^{iua}}{iu(b-a)}$，$u\ne 0$
指数分布 $\mathrm{Exp}(\lambda )$	$\frac{\lambda }{\lambda -t}$	$\frac{\lambda }{\lambda -iu}$
正态分布 $N(\mu ,{\sigma }^2)$	$e^{\mu t+\frac{1}{2}{\sigma }^2{t}^2}$	$e^{i\mu u-\frac{1}{2}{\sigma }^2{u}^2}$
Gamma分布 $\Gamma (\alpha ,\lambda )$	${\left(\frac{\lambda }{\lambda -t}\right)}^{\alpha }$	${\left(\frac{\lambda }{\lambda -iu}\right)}^{\alpha }$
卡方分布 ${\chi }_{\nu }^2$	$(1-2t{)}^{-\nu /2}$	$(1-2iu{)}^{-\nu /2}$

同样的，也可以用特征函数去验证上面这些分布的可加性