2. 垂直平行投影

很多情况下，我们也经常投影到平行和垂直两个方向分析，下面是一个例子

例

设 $A$ 是 $n$ 阶正定矩阵, 证 $|A|\le a_{11}{a}_{22}\dots a_{nn}$, 等号成立当且仅当 $A$ 是对角矩阵.

证明: 用归纳法, 假设 $n-1$ 的时候结论成立. 设

$$A=\left(\begin{array}{cc}{A}_{n-1}& \alpha \\ {\alpha }^{\prime }& a_{nn}\end{array}\right),$$

则 $|A|=|A_{n-1}|\cdot |a_{nn}-{\alpha }^{\prime }{A}_{n-1}^{-1}\alpha |$. 注意 $0<a_{nn}-{\alpha }^{\prime }{A}_{n-1}^{-1}\alpha \le a_{nn}$, 所以使用归纳假设即可. 等号成立的条件也不难证明. $\square$

---

实际上 $a_{nn}-{\alpha }^{\prime }{A}_{n-1}^{-1}\alpha$ 这个量是也有它的几何解释的. 我们来这样分析: 记 $v_1\sim v_{n-1}$ 张成的底面为 $P$, $v_n$ 可以分解为属于 $P$ 的分量的和与垂直于 $P$ 的分量和

$$v_n=v_n^{\parallel }+v_n^{\perp },$$

那么设

$$v_n^{\parallel }=v_n-v_n^{\perp }=x_1{v}_1+\cdots +x_{n-1}{v}_{n-1},$$

两边依次用 $v_1,\dots ,v_{n-1}$ 作内积, 我们得到这样一个方程组:

$$\left(\begin{array}{cccc}(v_1,v_1)& (v_1,v_2)& \dots & (v_1,v_{n-1})\\ (v_2,v_1)& (v_2,v_2)& \dots & (v_2,v_{n-1})\\ \dots & \dots & & \dots \\ (v_{n-1},v_1)& (v_{n-1},v_2)& \dots & (v_{n-1},v_{n-1})\end{array}\right)\left(\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_{n-1}\end{array}\right)=\left(\begin{array}{c}(v_1,v_n)\\ (v_2,v_n)\\ ⋮\\ (v_{n-1},v_n)\end{array}\right)$$

采用上面例题中的记号, 这个方程组就是 $A_{n-1}X=a$, 所以

$$v_n^{\parallel }=(v_1,v_2,\dots ,v_{n-1})X=(v_1,v_2,\dots ,v_{n-1})A_{n-1}^{-1}\alpha$$ $$\Rightarrow \Vert v_n^{\parallel }{\Vert }^2=((v_1,v_2,\dots ,v_{n-1})A_{n-1}^{-1}\alpha {)}^{\prime }((v_1,v_2,\dots ,v_{n-1})A_{n-1}^{-1}\alpha )$$ $$={\alpha }^{\prime }{A}_{n-1}^{-1}\alpha .$$

根据勾股定理, $\Vert v_n{\Vert }^2=\Vert v_n^{\parallel }{\Vert }^2+\Vert v_n^{\perp }{\Vert }^2$, 我们就得到

$$\Vert v_n^{\perp }{\Vert }^2=a_{nn}-{\alpha }^{\prime }{A}_{n-1}^{-1}\alpha$$

由 $v_n^{\parallel }$ 定义， $a_{nn}-{\alpha }^{\prime }{A}_{n-1}^{-1}\alpha$ 是 $v_n$ 到 $P$ 的距离的平方，那么它当然必须大于 0, 同时小于等于 $v_n$ 的长度的平方 $a_{nn}$。 这个结论的几何解释就是: 平行多面体的体积不大于各棱长的乘积, 当且仅当各棱垂直的时候等号成立.

---

下面我们介绍线性代数中极为重要的一种变换：Householder 反射(镜面反射)，接下来我们从零开始，推导出这种变换的具体形式和表示矩阵

设 $V$ 是一个 $n$ 维欧氏空间，在 $V$ 中取定一个非零向量 $\beta$。由所有与 $\beta$ 正交的向量组成的子空间：

$$H=\{\xi \in V\mid ⟨\xi ,\beta ⟩=0\}$$

是一个 $n-1$ 维的子空间，也就是所谓的超平面。这个 $H$ 就是我们的“镜面”，而 $\beta$ 就是这个镜面的“法向量”。 对于空间中任意一个向量 $\alpha \in V$，我们将其分解为与 $H$ 垂直的分量 ${\alpha }^{\perp }$ 以及与 $H$ 平行的分量 ${\alpha }^{\parallel }$，于是

$$\alpha ={\alpha }^{\perp }+{\alpha }^{\parallel }=\frac{⟨\alpha ,\beta ⟩}{⟨\beta ,\beta ⟩}\beta +(\alpha -\frac{⟨\alpha ,\beta ⟩}{⟨\beta ,\beta ⟩}\beta )$$

现在 $\alpha$ 经过镜面反射，变为了另一个向量 $\gamma$，根据反射的定义，不难看出

$$\gamma =-{\alpha }^{\perp }+{\alpha }^{\parallel }=-\frac{⟨\alpha ,\beta ⟩}{⟨\beta ,\beta ⟩}\beta +(\alpha -\frac{⟨\alpha ,\beta ⟩}{⟨\beta ,\beta ⟩}\beta )$$

设镜面变换为 $\phi$，即 $\phi (\alpha )=\gamma =\alpha -2\frac{⟨\alpha ,\beta ⟩}{⟨\beta ,\beta ⟩}\beta$，于是我们就得到了 $\phi$ 的表达式。接下来推导 $\phi$ 的表示矩阵 $P$，将内积写为转置表示，得到

$$P\alpha =\alpha -2\frac{{\alpha }^T\beta }{{\beta }^T\beta }\beta =\alpha -2\frac{\beta {\alpha }^T\beta }{{\beta }^T\beta }=\alpha -2\frac{\beta {\beta }^T\alpha }{{\beta }^T\beta }$$

因此我们得到了Householder 矩阵(镜像矩阵) $P=I-2\frac{\beta {\beta }^T}{{\beta }^T\beta }$，不难验证其满足以下性质

1. $P$ 是对称矩阵
2. $P$ 是正交矩阵
3. $P$ 是对合矩阵($P^2=I$ 两次镜面反射相当于没反射)
4. 有 $n-1$ 个特征值为 $1$，有 $1$ 个特征值为 $-1$(用行列式的降阶公式不难得到)

---

下面看一个Householder 反射的应用

Householder 变换

设 $\xi ,\eta$ 是 $n$ 维欧氏空间 $V$ 中长度相等的两个向量, 证明: 必存在 $V$ 的一个正交变换 $\sigma$, 使 $\sigma (\xi )=\eta$.

证明: 若 $\xi =\eta$，则取 $\sigma$ 为恒同变换。若 $\xi \ne \eta$，令 $\delta =\frac{\xi -\eta }{|\xi -\eta |}$，则 $|\delta |=1$。定义 $V$ 的线性变换 $\sigma$ 如下:

$$\sigma (\alpha )=\alpha -2⟨\delta ,\alpha ⟩\delta ,\forall \alpha \in V$$

于是 $\sigma$ 是 $V$ 的一个镜面反射，即第二类的正交变换。因为 $⟨\xi ,\xi ⟩=⟨\eta ,\eta ⟩$，所以

$$|\xi -\eta {|}^2=⟨\xi -\eta ,\xi -\eta ⟩=2⟨\xi ,\xi ⟩-2⟨\xi ,\eta ⟩=2⟨\xi ,\xi -\eta ⟩$$

代入变换公式可得：

$$\sigma (\xi )=\xi -2⟨\delta ,\xi ⟩\delta =\xi -\frac{2⟨\xi ,\xi -\eta ⟩}{|\xi -\eta {|}^2}(\xi -\eta )=\eta$$

上面构造的几何意义本质上可以看作在 $\xi ,\eta$ 中间放了一个镜子（超平面），而 $\delta$ 是这个镜子的法向量。镜面反射将平行于镜子的向量保持不变，将垂直镜子的向量方向变反。事实上，按垂直和平行的方向进行投影：

$$\xi ={\xi }^{\perp }+{\xi }^{\parallel }=⟨\xi ,\delta ⟩\delta +(\xi -⟨\xi ,\delta ⟩\delta )$$

于是经过反射后：

$$\sigma (\xi )=-{\xi }^{\perp }+{\xi }^{\parallel }=\xi -2⟨\xi ,\delta ⟩\delta$$

这就是上面的镜面变换。

---

为了进一步看出投影到平行和垂直两个方向的好处，我们来看下面的几个例子

复旦习题集 2018A5

设 $\alpha \ne 0,\beta$ 为 $n$ 维实列向量, 试构造 $n$ 阶方阵 $A$, 满足以下两个条件: (1) $A\alpha =\beta$ (2) 对任一满足 ${\alpha }^T\gamma =0$ 的 $n$ 维列向量 $\gamma$, 均有 $A\gamma =\gamma$

构造具有明显的几何意义，将 $x$ 分解为 $x={\alpha }^{\parallel }+{\alpha }^{\perp }$ 即可，设 $\alpha \ne 0$。把任意向量 $x\in {\mathbb{R}}^n$ 分解为

$$x=\frac{{\alpha }^{T}x}{{\alpha }^T\alpha }\alpha +\left(x-\frac{{\alpha }^{T}x}{{\alpha }^T\alpha }\alpha \right).$$

于是

$$Ax=\frac{{\alpha }^{T}x}{{\alpha }^T\alpha }\beta +\left(x-\frac{{\alpha }^{T}x}{{\alpha }^T\alpha }\alpha \right).$$

将这个表达式写成矩阵形式：

$$Ax=x+\frac{{\alpha }^{T}x}{{\alpha }^T\alpha }(\beta -\alpha ).$$

这意味着

$$A=I+\frac{(\beta -\alpha ){\alpha }^T}{{\alpha }^T\alpha }.$$

例1

设 $E$ 是单位矩阵，$a,b$ 是 $n$ 维实列向量，并且 $a^{T}b>0$，证明

$$H=E-\frac{b{b}^T}{b^{T}b}+\frac{a{a}^T}{a^{T}b}$$

证明 $H$ 是正定矩阵

证明: 首先 $H$ 显然为对称矩阵，要证明正定，即证明 $\forall x\ne 0$，$x^{T}Hx>0$，我们将其写成内积形式

$$x^{T}Hx=\Vert x{\Vert }^2-\frac{|⟨b,x⟩{|}^2}{\Vert b{\Vert }^2}+\frac{|⟨a,x⟩{|}^2}{⟨a,b⟩}$$

现在我们将 $x$ 分解为 $x=b^{\parallel }+b^{\perp }$，其中 $b^{\parallel }=\frac{⟨b,x⟩b}{\Vert b{\Vert }^2}$，于是 $\Vert b^{\parallel }{\Vert }^2=\frac{|⟨b,x⟩{|}^2}{\Vert b{\Vert }^2}$，因此由勾股定理

$$x^{T}Hx=\Vert b^{\perp }{\Vert }^2+\frac{|⟨a,x⟩{|}^2}{⟨a,b⟩}$$

因为 $⟨a,b⟩>0$，所以当 $x\ne 0$ 时，$x^{T}Hx>0$，当 $x=0$ 时 $x^{T}Hx=0$；当 $x^{T}Hx=0$ 时，不难验证 $x=0$，于是我们就完成了证明

例2

设 $a,b$ 是 $n$ 维非零实列向量，则 $a^{T}b>0$ 的充要条件是存在正定矩阵 $A$ 使得 $Aa=b$

方法1:
充分性: 若 $Aa=b$，则由 $A$ 的正定性，$a^{T}b=a^{T}Aa>0$ 必要性: 若 $a^{T}b>0$，如果我们要构造一个正定矩阵 $A$ 使得 $Aa=b$，此时也得满足 $a^{T}Aa>0$ 现在我们先来构造 $A$ 满足 $Aa=b$，容易构造一个满足条件的 $A=\frac{b{b}^T}{a^{T}b}$，但 $A$ 为秩一矩阵，正定性肯定是不满足的，我们需要另外增加一些项来使得 $A$ 满足正定性，记上面得到的 $\frac{b{b}^T}{a^{T}b}=A_1$ 现在假设我们增加 $A_2$ 后 $A=A_1+k{A}_2$ 正定，并且 $Aa=b$，这就意味着 $A_{2}a=0$，此时将 $A_2$ 看作一个投影到 $a^{\perp }$ 的投影矩阵(与镜面反射矩阵不同的是，这里将 $a$ 直接投影为零向量了，而不是 $-a$ )，不难写出

$$A_2=I-\frac{a{a}^T}{\Vert a{\Vert }^2}$$

写出 $A$ 的表达式，显然为对称矩阵

$$A=k(I-\frac{a{a}^T}{\Vert a{\Vert }^2})+\frac{b{b}^T}{a^{T}b}$$

现在我们来计算 $k$ 的值使得 $A$ 正定，即证明 $\forall x\ne 0$，$x^{T}Ax>0$，

$$x^{T}Ax=k\left(\Vert x{\Vert }^2-\frac{|⟨a,x⟩{|}^2}{\Vert a{\Vert }^2}\right)+\frac{|⟨b,x⟩{|}^2}{⟨a,b⟩}$$

现在我们将 $x$ 分解为 $x=a^{\parallel }+a^{\perp }$，其中 $a^{\parallel }=\frac{⟨a,x⟩a}{\Vert a{\Vert }^2}$，于是 $\Vert a^{\parallel }{\Vert }^2=\frac{|⟨a,x⟩{|}^2}{\Vert a{\Vert }^2}$，因此由勾股定理

$$x^{T}Ax=k\Vert a^{\perp }{\Vert }^2+\frac{|⟨b,x⟩{|}^2}{⟨a,b⟩}$$

因为 $⟨a,b⟩>0$，所以当 $x\ne 0$ 时，只要 $k>0$，就有 $x^{T}Ax>0$，当 $x=0$ 时 $x^{T}Ax=0$；当 $x^{T}Ax=0$ 时，不难验证 $x=0$，因此我们就构造出了满足条件的矩阵 $A$

$$A=k(I-\frac{a{a}^T}{\Vert a{\Vert }^2})+\frac{b{b}^T}{a^{T}b},k>0$$

---

方法2: 只需证必要性. 考虑构造一个简单的正定矩阵 $B$, 使得 $A$ 与 $B$ 正交合同, 则 $A$ 是正定矩阵. 将 $A$ 视为 ${\mathbb{R}}^n$ 的线性变换, 欲使 $b=Aa$, 则 $W=L(a,b)$ 是 ${\mathbb{R}}^n$ 中的 $A$ 不变子空间, 故只需 $B=\text{diag}(B_1,E_{n-2})$ 是分块对角矩阵, 其中 $B_1$ 是二阶正定矩阵. 于是, 问题归结为: 根据 $a,b$ 确定 $W$ 的标准正交基 ${\xi }_1,{\xi }_2$ 以及正定矩阵 $B_1$, 使得限制变换 $A{|}_W$ 在基 ${\xi }_1,{\xi }_2$ 下的矩阵为 $B_1$, 即 $A({\xi }_1,{\xi }_2)=({\xi }_1,{\xi }_2)B_1$. 因此, 有如下解法:

只证必要性. 若 $a,b$ 线性相关, 则 $b=ka$. 由于 $a^{T}b>0$, 知 $k>0$. 取 $A=kE$ 即可. 下设 $a,b$ 线性无关, 考虑 ${\mathbb{R}}^n$ 的子空间 $W=L(a,b)$. 根据 Schmidt 正交化方法, 取非零向量

$$\gamma =b-\frac{⟨a,b⟩}{⟨a,a⟩}a,$$

则向量组 ${\xi }_1=\frac{a}{|a|},{\xi }_2=\frac{\gamma }{|\gamma |}$ 是 $W$ 的一个标准正交基, 且 $b=\frac{⟨a,b⟩}{|a|}{\xi }_1+|\gamma |{\xi }_2$. 因此, $Aa=b$ 当且仅当 $A{\xi }_1=\frac{⟨a,b⟩}{⟨a,a⟩}{\xi }_1+\frac{|\gamma |}{|a|}{\xi }_2$. 欲使 $A({\xi }_1,{\xi }_2)=({\xi }_1,{\xi }_2)B_1$, 且 $B_1$ 为二阶实对称正定矩阵, 只需 $A{\xi }_2=\frac{|\gamma |}{|a|}{\xi }_1+k{\xi }_2$, 即

$$B_1=\left(\begin{array}{cc}\frac{⟨a,b⟩}{⟨a,a⟩}& \frac{|\gamma |}{|a|}\\ \frac{|\gamma |}{|a|}& k\end{array}\right),$$

其中 $k>\frac{⟨\gamma ,\gamma ⟩}{⟨a,b⟩}>0$ 即可. 这就得到了正定矩阵 $B=\left(\begin{array}{cc}{B}_1& \\ & E_{n-2}\end{array}\right)$. 最后, 任取 $W^{\perp }$ 的一个标准正交基 ${\xi }_3,{\xi }_4,\dots ,{\xi }_n$, 并构造正交矩阵 $P=({\xi }_1,{\xi }_2,{\xi }_3,\dots ,{\xi }_n)$. 再令 $A=PB{P}^T$, 即 $AP=PB$. 显然, $A$ 是正定矩阵, 且 $Aa=b$.