5. 条件数学期望与投影

现在我们将内积空间的那一套定义迁移到概率空间上

内积定义的迁移

1. 向量：把每一个随机变量看作空间中的一个向量（例如 $Y,X,Z$）
2. 内积：定义两个向量 $U$ 和 $V$ 的内积为它们的期望 $⟨U,V⟩=E[UV]$

• 对称性: $⟨U,V⟩=⟨V,U⟩$ ，由 $E[UV]=E[VU]$，显然成立
• 线性: $⟨aU+bV,W⟩=a⟨U,W⟩+b⟨V,W⟩$，由 $E[(aU+bV)W]=aE[UW]+bE[VW]$，显然成立
• 正定性: $⟨U,U⟩\ge 0$，并且 $⟨U,U⟩=0$ 当且仅当 $U=0$，$E[U^2]\ge 0$ 显然成立

3. 正交：如果 $E[UV]=0$，我们就说向量 $U$ 和 $V$ 是互相正交的，记作 $U\perp V$

为了让期望 $E[UV]$ 真正能当作内积来用，我们还需要对空间做出一些限制，根据上面关于内积的正定性的性质，我们需要限制 $E[U^2]<\infty$，同时自动成立 $E[UV]<\infty$ ，此时空间需要为 $L^2$ 空间，事实上
根据 Cauchy-Schwarz 不等式，我们有

$$|E[UV]{|}^2\le E[U^2]E[V^2]$$

此外，回到前面正定性的后半句：内积空间要求“如果向量的长度平方 $⟨U,U⟩=0$，则该向量必须是零向量 $U=0$，但是在概率空间中，$E[U^2]=0$ 并不意味着随机变量 $U$ 在每一个样本点上都绝对等于 $0$。它只意味着 $U$ 几乎处处等于 $0$，即下面集合的测度为 $0$

$$P(\{\omega \in \Omega :U(\omega )\ne 0\})=0$$

此时在如果想要继续构建内积空间，我们就需要将测度为 $0$ 的这个事件强行忽略掉，也就是商掉“零测集差异”，从而按几乎处处相等划分出一个等价类，比如 $P(X=Y)=1$，此时在几何上必须强行把它们看作同一个向量

完成上面的规定后，我们就可以定义模长，距离，夹角了

内积空间

1. 向量的模长: $\Vert X\Vert =\sqrt{⟨X,X⟩}=\sqrt{E[X^2]}$
2. 向量的距离: $\Vert X-Y\Vert =\sqrt{E[(X-Y{)}^2]}$
3. 夹角的余弦值：$\cos \theta =\frac{E[XY]}{\sqrt{E[X^2]E[Y^2]}}$

如果我们令 $X\perp Y$，即 $E[XY]=0$，此时就是勾股定理 $\Vert X+Y{\Vert }^2=\Vert X{\Vert }^2+\Vert Y{\Vert }^2$，即

$$E[(X+Y{)}^2]=E[X^2]+E[Y^2]$$

进一步，如果把所有的随机变量都减去它们的期望（即 $X^{\prime }=X-E[X]$），让它们变成“中心化”的向量，我们还能得到

去中心化

1. 内积就变成了协方差：$⟨X^{\prime },Y^{\prime }⟩=Cov(X,Y)$
2. 模长的平方就变成了方差：$\Vert X^{\prime }{\Vert }^2=Var(X)$
3. 夹角的余弦值就变成了相关系数：$\cos \theta =\frac{Cov(X,Y)}{\sqrt{Var(X)Var(Y)}}={\rho }_{XY}$

---

接下来我们开始证明这篇笔记的核心问题

首先我们需要证明条件期望就是正交投影，在几何中，向一个平面作正交投影等价于在这个平面上找一个点，使得它到目标点的距离最短，也就是在所有可能的预测函数 $g(X)$ 中，使得均方误差 $E[(Y-g(X){)}^2]$ 最小的那个函数，必然是 $g(X)=E[Y\mid X]$，现在我们来证明这一点
首先插入中间项 $E[Y\mid X]$，我们有

$$\begin{array}{rl}E[(Y-g(X){)}^2]& =E[(Y-E[Y\mid X]+E[Y\mid X]-g(X){)}^2]\\ & \\ & =E[(Y-E[Y\mid X]{)}^2]+E[(E[Y\mid X]-g(X){)}^2]+2E[(Y-E[Y\mid X])(E[Y\mid X]-g(X))]\\ & \end{array}$$

针对上面的交叉项

$$E[(Y-E[Y\mid X])\cdot (E[Y\mid X]-g(X))]$$

由重期望公式，上式等价于

$$=E\left[E[(Y-E[Y\mid X])\cdot (E[Y\mid X]-g(X))\mid X]\right]$$

在给定 $X$ 的条件下，所有的 $X$ 的函数都可以当作常数提出来，于是

$$=E\left[(E[Y\mid X]-g(X))\cdot \underset{\text{here}}{\underbrace{E[(Y-E[Y\mid X])\mid X]}}\right]$$

后者打开之后就是 $0$，因此交叉项为 $0$，从而

$$E[(Y-g(X){)}^2]=E[(Y-E[Y\mid X]{)}^2]+E[(E[Y\mid X]-g(X){)}^2]$$

要最小化均方误差 $E[(Y-g(X){)}^2]$ ，就是令 $g(X)=E[Y\mid X]$，于是我们就完成了证明

作为一个应用，我们来证明条件重期望公式

条件重期望公式

$$E[Y\mid Z]=E[E[Y\mid X,Z]\mid Z]$$

证明:
首先记所有关于 $X$ 和 $Z$ 的函数构成的闭子空间为 ${\mathcal{H}}_{X,Z}$，所有仅关于 $Z$ 的函数构成的闭子空间为 ${\mathcal{H}}_Z$，显然 ${\mathcal{H}}_Z\subset {\mathcal{H}}_{X,Z}$
现在我们将期望语言翻译为几何语言:

1. $E[Y\mid X,Z]$：将向量 $Y$ 投影到 ${\mathcal{H}}_{X,Z}$ 上，记作 ${\hat{Y}}_{XZ}$
2. $E[E[Y\mid X,Z]\mid Z]$：将刚刚得到的投影 ${\hat{Y}}_{XZ}$，再次投影到 ${\mathcal{H}}_Z$ 上，记作 $V$
3. $E[Y\mid Z]$：将原始向量 $Y$，直接投影到 ${\mathcal{H}}_Z$ 上

接下来证明 $V$ 就是 $Y$ 在 ${\mathcal{H}}_Z$ 上的正交投影：
显然 $V\in {\mathcal{H}}_Z$，因此只需要证明

$$⟨Y-V,U⟩=0,\forall U\in {\mathcal{H}}_Z$$

令

$$Y-V=(Y-{\hat{Y}}_{XZ})+({\hat{Y}}_{XZ}-V)$$

此时因为 ${\hat{Y}}_{XZ}$ 是 $Y$ 在 ${\mathcal{H}}_{X,Z}$ 上的投影，$U\in {\mathcal{H}}_Z\subset {\mathcal{H}}_{X,Z}$，因此

$$⟨Y-{\hat{Y}}_{XZ},U⟩=0$$

另一方面，因为 $V$ 是 ${\hat{Y}}_{XZ}$ 在 ${\mathcal{H}}_Z$ 上的投影，$U\in {\mathcal{H}}_Z$，因此

$$⟨{\hat{Y}}_{XZ}-V,U⟩=0$$

从而

$$\begin{array}{rl}⟨Y-V,U⟩& =⟨(Y-{\hat{Y}}_{XZ})+({\hat{Y}}_{XZ}-V),U⟩\\ & \\ & =⟨Y-{\hat{Y}}_{XZ},U⟩+⟨{\hat{Y}}_{XZ}-V,U⟩\\ & \\ & =0\end{array}$$

根据投影的唯一性, $V$ 就是 $Y$ 在 ${\mathcal{H}}_Z$ 上的投影，即

$$E[Y\mid Z]=E[E[Y\mid X,Z]\mid Z]$$

普通的重期望公式

令 $Z=c$，$c$ 为一常数，就可得到普通的重期望公式

$$E[Y]=E[E[Y\mid X]]$$

---

接下来我们用同样的手段，证明重方差公式

重方差公式

$$\text{Var}(Y)=\text{Var}(E[Y\mid X])+E[\text{Var}(Y\mid X)]$$

令 $\mu =E[Y]$，再插入一个中间项 $E[Y\mid X]$(即 $Y$ 在 $X$ 构成的子空间上的投影)，我们有

$$Y-\mu =\underset{\text{向量 }A}{\underbrace{(Y-E[Y\mid X])}}+\underset{\text{向量 }B}{\underbrace{(E[Y\mid X]-\mu )}}$$

不难看出 $A$ 垂直于 $X$ 子空间上的所有向量，而 $B$ 就在 $X$ 子空间里，因此

$$⟨Y-E[Y\mid X],E[Y\mid X]-\mu ⟩=0$$

现在由勾股定理

$$\Vert Y-\mu {\Vert }^2=\Vert E[Y\mid X]-\mu {\Vert }^2+\Vert Y-E[Y\mid X]{\Vert }^2$$

其中

$$\Vert Y-\mu {\Vert }^2=E[(Y-\mu {)}^2]=\text{Var}(Y)$$

另外由重期望公式，$\mu =E[Y]=E[E[Y\mid X]]$，因此

$$\Vert E[Y\mid X]-\mu {\Vert }^2=E\left[(E[Y\mid X]-E[E[Y\mid X]]{)}^2\right]=\text{Var}(E[Y\mid X])$$

再用一次重期望公式

$$\begin{array}{rl}\Vert Y-E[Y\mid X]{\Vert }^2& =E\left[(Y-E[Y\mid X]{)}^2\right]\\ & \\ & =E\left[E\left[(Y-E[Y\mid X]{)}^2\mid X\right]\right]\\ & \\ & =E[\text{Var}(Y\mid X)]\end{array}$$

于是我们就完成了证明