指数分布、泊松分布与泊松过程

这篇笔记中，我们将串联指数分布，泊松分布，泊松过程的所有概念。我们先从一道具体的题目开始

例1

一名调查员入住一座废弃旅馆的 404 号房间。从午夜 0:00 开始，他不断听到门外传来敲门声，但走廊监控中始终没有出现任何人。根据调查员的记录，敲门声的发生可以看作强度为 $\lambda =3$ 次/小时的齐次泊松过程。记 $N(t)$ 为从午夜开始的前 $t$ 小时内听到的敲门总次数，$T_n$ 为第 $n$ 次敲门发生的时刻，且记相邻两次敲门的时间间隔为

$$X_n=T_n-T_{n-1}$$

其中 $T_0=0$。假设不重叠时间段内的敲门次数相互独立，回答下列问题。

1. 写出 $N(t)$ 的分布以及 $X_n$ 的分布，并求调查员平均每隔多少分钟会听到一次敲门声。
2. 求第一次敲门发生在午夜后的第 10 分钟至第 30 分钟之间的概率。
3. 求午夜后的前 2 小时内恰好发生 5 次敲门，并且其中恰有 2 次发生在前 40 分钟内的概率。
4. 调查员在午夜后的前 20 分钟内没有听到任何敲门声。求在接下来的 10 分钟内至少听到一次敲门声的条件概率。
5. 调查员已等待了 20 分钟，但第一次敲门仍未发生
   ① 从第 20 分钟开始，他还需要等待多长时间才能听到第一次敲门？求这一剩余等待时间的数学期望；
   ② 求第一次敲门在午夜后的第 50 分钟之后才发生的条件概率。

旅馆的旧档案中写着：

如果第一次敲门在午夜后的 20 分钟内发生，而在这次敲门后的 20 分钟内没有出现第二次敲门，404 号房的门把手就会自行转动

6. 求门把手自行转动的概率。
7. 求第四次敲门发生时刻 $T_4$ 的概率密度函数，并回答：
   ① 第四次敲门在午夜后的 1 小时内发生的概率；
   ② $T_4$ 的数学期望，并将结果换算成分钟。
8. 已知午夜后的前 2 小时内共发生了 6 次敲门，求其中恰有 2 次发生在前 30 分钟内的条件概率。
9. 凌晨 3:00 时，调查员查看了整晚的监控录像。录像显示，每次敲门发生时，404 号房门外都没有人，但每次敲门之后，走廊尽头的黑影都会向房门靠近一段距离。假设调查员在午夜后的前 3 小时内听到至少 8 次敲门时，黑影就会到达房门口。求黑影在凌晨 3:00 前到达房门口的概率。

1. 泊松过程在长度为 $t$ 的时间间隔内发生的次数服从参数为 $\lambda t$ 的泊松分布。由于 $\lambda =3$，因此 $N(t)\sim \text{Poisson}(3t)$ $$P(N(t)=k)=\frac{(3t{)}^k}{k!}{e}^{-3t},k=0,1,2,\dots$$ 齐次泊松过程中，相邻两次事件的时间间隔 $X_n$ 相互独立，且服从参数为 $\lambda$ 的指数分布。因此 $X_n\sim \text{Exp}(3)$
   概率密度函数为： $$f_{X_n}(x)=\{\begin{array}{ll}3e^{-3x},& x>0\\ 0,& x\le 0\end{array}$$ 因此 $E[X_n]=\frac{1}{\lambda }=\frac{1}{3}$，每隔 20 分钟会听到一次敲门声
2. 第一次敲门发生的时间即为 $T_1=X_1$，时间单位统一为小时，那么 $$P\left(\frac{1}{6}<X_1\le \frac{1}{2}\right)=P\left(X_1>\frac{1}{6}\right)-P\left(X_1>\frac{1}{2}\right)=e^{-3\times \frac{1}{6}}-e^{-3\times \frac{1}{2}}$$ 概率为 $e^{-0.5}-e^{-1.5}$
3. 由泊松过程的独立增量性 $$\begin{array}{rl}P\left(N(2)=5\mid N\left(\frac{2}{3}\right)=2\right)& =P\left(N(2)-N\left(\frac{2}{3}\right)=3\mid N\left(\frac{2}{3}\right)=2\right)\\ & =P\left(N(2)-N\left(\frac{2}{3}\right)=3\right)\\ & =P\left(N\left(\frac{4}{3}\right)=3\right)\end{array}$$ 于是 $$\begin{array}{rl}P\left(N(2)=5,N\left(\frac{2}{3}\right)=2\right)& =P\left(N(2)=5\mid N\left(\frac{2}{3}\right)=2\right)\times P\left(N\left(\frac{2}{3}\right)=2\right)\\ & =P\left(N\left(\frac{4}{3}\right)=3\right)\times P\left(N\left(\frac{2}{3}\right)=2\right)\\ & =\frac{32}{3}{e}^{-4}\times 2e^{-2}=\frac{64}{3}{e}^{-6}\end{array}$$
4. 由泊松过程的独立增量性，所求概率就是 $$P\left(N\left(\frac{1}{6}\right)\ge 1\right)=1-P\left(N\left(\frac{1}{6}\right)=0\right)=1-\frac{0.5^0}{0!}{e}^{-0.5}=1-e^{-0.5}$$
5. 由指数分布的无记忆性，剩余等待时间依旧服从 $\text{Exp}(3)$，因此期望仍然是 $\frac{1}{3}$ 小时
   已知等了 20 分钟，要使总时间超过 50 分钟，意味着还要再等至少 30 分钟（$\frac{1}{2}$ 小时）。 $$P\left(T_1>\frac{50}{60}|T_1>\frac{20}{60}\right)=P\left(X_1>\frac{30}{60}\right)=e^{-3\times 0.5}$$
6. 所求概率为 $$\begin{array}{rl}P\left(X_1\le \frac{1}{3},X_2>\frac{1}{3}\right)& =P\left(X_1\le \frac{1}{3}\right)\times P\left(X_2>\frac{1}{3}\right)\\ & =\left(1-e^{-3\times \frac{1}{3}}\right)\times \left(e^{-3\times \frac{1}{3}}\right)=e^{-1}-e^{-2}\end{array}$$
7. 事件 $\{T_4\le 1\}$ 等价于在 1 小时内至少发生了 4 次敲门，即 $\{N(1)\ge 4\}$ $$P(N(1)\ge 4)=1-P(N(1)\le 3)=1-\sum _{k=0}^3\frac{3^k}{k!}{e}^{-3}=1-13e^{-3}$$ $E[T_4]=E[X_1+X_2+X_3+X_4]=4\times E[X_1]=4\times \frac{1}{3}=\frac{4}{3}$
8. 在给定一段时间内发生事件总数 $N(t)=n$ 的条件下，这些事件落在子区间内的数量服从二项分布，单次事件落在前 30 分钟的概率为 $p=\frac{0.5}{2}=\frac{1}{4}$
   因此，前 30 分钟发生次数 $k=2$ 的条件概率即为计算二项分布 $B\left(6,\frac{1}{4}\right)$ 取值为 2 的概率： $$P\left(N(0.5)=2|N(2)=6\right)=\left(\genfrac{}{}{0ex}{}{6}{2}\right){\left(\frac{1}{4}\right)}^2{\left(1-\frac{1}{4}\right)}^{6-2}=\frac{1215}{4096}$$
9. 即求 $P(N(3)\ge 8)$ $$P(N(3)\ge 8)=1-P(N(3)\le 7)=1-\sum _{k=0}^7\frac{9^k}{k!}{e}^{-9}$$

---

泊松分布

如果事件平均发生速率为 $\lambda$，在长度为 $t$ 的时间内发生次数记为 $N(t)$，那么泊松分布写成

$$P(N(t)=k)=e^{-\lambda t}\frac{(\lambda t{)}^k}{k!},k=0,1,2,\dots$$

此时 $N(t)\sim \mathrm{Poisson}(\lambda t)$，并且 $E[N(t)]=\mathrm{Var}(N(t))=\lambda t$。

泊松分布就是记录了某一段时间的发生次数

指数分布

事件平均发生速率为 $\lambda$，指数分布描述的是: 从现在开始，到下一次事件发生，所用的时间间隔，设等待时间为 $T$，那么 $T\sim \mathrm{Exp}(\lambda )$

$$P(T>t)=e^{-\lambda t}.$$

指数分布就是记录了从现在到下一次事件发生的时间间隔

指数分布最特殊的性质是其无记忆性:

$$P(T>s+t\mid T>s)=P(T>t).$$

使用条件概率公式直接证明即可:

$$P(T>s+t\mid T>s)=\frac{P(T>s+t)}{P(T>s)}=\frac{e^{-\lambda (s+t)}}{e^{-\lambda s}}=e^{-\lambda t}=P(T>t).$$

齐次泊松过程

泊松过程研究的是一整组随机变量，$\{N(t):t\ge 0\}$，表示从时刻 $0$ 到时刻 $t$ 一共发生了多少次事件。速率为 $\lambda$ 的泊松过程通常满足：

1. $N(0)=0$
2. 不相交时间段内的发生次数相互独立，即独立增量
3. 长度相同的时间段，事件次数 $N(t)$ 分布相同，即平稳增量
4. 长度为 $t$ 的区间内，事件次数 $N(t)$ 服从 $\mathrm{Poisson}(\lambda t)$

设相邻两次事件之间的等待时间为 $X_i$，其中 $X_i\sim \mathrm{Exp}(\lambda )$ 独立同分布
定义第 $n$ 次事件的到达时刻 $S_n=X_1+\cdots +X_n$，再定义

$$N(t)=\max \{n:S_n\le t\},t\ge S_1$$

也就是说，$N(t)$ 是时刻 $t$ 之前已经到达的事件数。现在我们来验证上面的几条

1. 验证 $N(0)=0$: 因为 $X_1\sim \mathrm{Exp}(\lambda )>0$，因此第一次事件不会在时刻 0 之前发生，所以 $N(0)=0$
2. 验证独立增量: 由指数分布的无记忆性，$N(s+t)-N(s)$ 与 $s$ 之前发生的事件独立，现在利用这个结论，对于不相交的时间段内 $$(t_0,t_1],(t_1,t_2],\dots ,(t_{m-1},t_m],$$ 对应着计数 $$N(t_1)-N(t_0),\dots ,N(t_m)-N(t_{m-1})$$ 相互独立，因此满足独立增量
3. 验证平稳增量: 由指数分布的无记忆性，只和事件的间隔 $t$ 有关，即 $$P(N(s+t)-N(s)=k)=P(N(t)=k)$$ 所以长度为 $t$ 的任意区间内，事件次数 $N(t)$ 分布都相同
4. $N(t)\sim \mathrm{Poisson}(\lambda t)$:
   由 $N(t)$ 定义: $N(t)=n$ 等价于第 $n$ 次事件在 $t$ 之前发生，第 $n+1$ 次事件在 $t$ 之后发生 $$\{N(t)=n\}=\{S_n\le t<S_{n+1}\}.$$ 现在我们计算 $S_n$ 的概率密度函数，由矩母函数 > 推导独立随机变量和的分布，$S_n$ 为 $n$ 个指数分布的和，而指数分布的矩母函数为 $\frac{\lambda }{\lambda -s}$，因此 $$M_{S_n}(t)={\left(\frac{\lambda }{\lambda -s}\right)}^n.$$ 这正是Gamma分布 $\Gamma (n,\lambda )$ 的矩母函数，因此 $S_n$ 的概率密度函数为 $$f_{S_n}(s)=\frac{{\lambda }^n{s}^{n-1}{e}^{-\lambda s}}{(n-1)!},s>0.$$ 现在我们用两种方法来计算 $N(t)$ 的分布
   方法1: 当第 $n$ 次事件在时刻 $s$ 发生时，还要求 $X_{n+1}>t-s$，否则 $N(t)=n+1$，由于 $$\{N(t)=n\}=\{S_n\le t,S_{n+1}>t\}=\{S_n\le t,X_{n+1}>t-S_n\},$$ 设 $$A=\{S_n\le t\},B=\{X_{n+1}>t-S_n\}.$$ 由使用指示函数进行表示的性质 $1_A{1}_B=1_{A\cap B}$，这等价于 $$1_{\{N(t)=n\}}=1_{\{S_n\le t\}}{1}_{\{X_{n+1}>t-S_n\}}$$ 两边取期望就得到 $$P(N(t)=n)=E\left[1_{\{S_n\le t\}}{1}_{\{X_{n+1}>t-S_n\}}\right].$$ 由5. 条件数学期望与投影中得到的重期望公式，得到 $$\begin{array}{rl}P(N(t)=n)& =E\left[E\left(1_{\{S_n\le t\}}{1}_{\{X_{n+1}>t-S_n\}}\mid S_n\right)\right]\\ & =E\left[1_{\{S_n\le t\}}P(X_{n+1}>t-S_n\mid S_n)\right].\end{array}$$ 而 $$P(X_{n+1}>t-S_n\mid S_n)=e^{-\lambda (t-S_n)}.$$ 从而我们有 $$\begin{array}{rl}P(N(t)=n)& =E\left[1_{\{S_n\le t\}}{e}^{-\lambda (t-S_n)}\right]\\ & ={\int }_0^t{e}^{-\lambda (t-s)}{f}_{S_n}(s)ds\\ & ={\int }_0^t{e}^{-\lambda (t-s)}\frac{{\lambda }^n{s}^{n-1}{e}^{-\lambda s}}{(n-1)!}ds\\ & =\frac{{\lambda }^n{e}^{-\lambda t}}{(n-1)!}{\int }_0^t{s}^{n-1}ds\\ & =\frac{{\lambda }^n{e}^{-\lambda t}}{(n-1)!}\cdot \frac{t^n}{n}\\ & =e^{-\lambda t}\frac{(\lambda t{)}^n}{n!}\end{array}$$ 因此 $N(t)$ 服从 $\mathrm{Poisson}(\lambda t)$ 分布
   方法2: 因为 $\{N(t)\ge n\}=\{S_n\le t\}$，因此 $$P(N(t)=n)=P(S_n\le t)-P(S_{n+1}\le t).$$ 现在由 Gamma 分布的分布函数(因为此时 Gamma 分布是 $n$ 个指数分布的和的分布，因此可以由指数分布的可加性以及其分布函数直接得到) $$P(S_n\le t)=1-e^{-\lambda t}\sum _{k=0}^{n-1}\frac{(\lambda t{)}^k}{k!},$$ 从而 $$\begin{array}{rl}P(N(t)=n)& =\left(1-e^{-\lambda t}\sum _{k=0}^{n-1}\frac{(\lambda t{)}^k}{k!}\right)-\left(1-e^{-\lambda t}\sum _{k=0}^n\frac{(\lambda t{)}^k}{k!}\right)\\ & =e^{-\lambda t}\frac{(\lambda t{)}^n}{n!}\end{array}$$ 于是我们就证明了 $N(t)$ 服从 $\mathrm{Poisson}(\lambda t)$ 分布

将上面的所有内容总结成一句话如下

整个过程的时间 $S_n$ 由Gamma分布描述, 整个过程发生的次数 $N(t)$ 由Poisson分布描述

---

最后我们再来看两道例题作为练手

例2

在某道路的汽车交通中，将从开始观测到第一辆汽车通过为止的经过时间记为 $u$ 秒。$u$ 的概率密度函数 $p(u)$ 不依赖于观测开始时刻及其之前汽车的通过状况，并与 $e^{-\lambda u}$ 成比例。其中 $e$ 为自然对数的底，$\lambda >0$ 为实常数

1. 求 $u$ 的概率密度函数 $p(u)$ 以及 $u$ 的期望值 $\bar{u}$
2. 令 $A(t)$ 表示从观测开始起 $t$ 秒内通过的汽车数。对任意 $t>0$，求事件 $A(t)=0$ 的发生概率 $\mathrm{Pr}(A(t)=0)$
3. 设从观测开始到第 $n$ 辆汽车通过为止的经过时间为 $x$ 秒，其概率密度函数为 $p_n(x)$
   (a) 求 $p_2(x),p_3(x)$
   (b) 对任意整数 $n\ge 1$，求 $p_n(x)$
4. 对任意 $t>0$，求事件 $A(t)=n$ 的发生概率 $\mathrm{Pr}(A(t)=n)$

1. 一眼指数函数，$p(u)=\lambda e^{-\lambda u}(u\ge 0)$，$\bar{u}=\frac{1}{\lambda }$
2. $A(t)$ 服从参数为 $\lambda t$ 的泊松分布，因此 $$\mathrm{Pr}(A(t)=0)=e^{-\lambda t}\frac{(\lambda t{)}^0}{0!}=e^{-\lambda t}$$
3. 一眼Gamma分布，套公式直接得到 $$p_n(x)=\frac{{\lambda }^n{x}^{n-1}}{(n-1)!}{e}^{-\lambda x}(x\ge 0)$$
4. 依旧套公式 $$\mathrm{Pr}(A(t)=n)=e^{-\lambda t}\frac{(\lambda t{)}^n}{n!}$$

---

例3

设 $X_1,X_2,\dots ,X_n$ 为独立同分布随机变量，其概率密度函数 $f(x)$ 为：

$$f(x)=\{\begin{array}{ll}\lambda e^{-\lambda x},& x\ge 0\\ 0,& x<0\end{array}$$

其中 $e$ 为自然对数的底，$\lambda$ 为正参数

1. 考虑 $X_1$ 的期望 $E[X_1]$ 与方差 $V[X_1]$。求常数 $a,b,c,d$，使得 $E[X_1]=a{\lambda }^b$ 且 $V[X_1]=c{\lambda }^d$
2. 考虑随机变量 $S_2=X_1+X_2$ 与 $S_3=X_1+X_2+X_3$。求 $S_2$ 与 $S_3$ 的概率密度函数，分别记为 $f_{S_2}(x)$ 与 $f_{S_3}(x)$
3. 考虑 $n$ 个随机变量之和 $S_n={\sum }_{k=1}^n{X}_k$。推导 $S_n$ 的概率密度函数，记为 $f_{S_n}(x)$

1. 这就是指数分布, 因此 $a=1,b=-1,c=1,d=-2$
2. 依旧矩母函数, 依旧 Gamma 分布 $$S_n(x)=\frac{{\lambda }^n{x}^{n-1}}{(n-1)!}{e}^{-\lambda x}(x\ge 0)$$
3. 同上