线性代数 Cheat Sheet 6-3：正交投影
R2 中点在通过原点的直线上的正交投影和 Rn 的情形非常类似。对给定向量 y 和 Rn 中子空间 W，存在属于 W 的向量 ˆy 满足：（1）W 中有唯一向量 ˆy，使得 y–ˆy 与 W 正交，（2）ˆy 是 W 中唯一最接近 y 的向量。
定理 8（正交分解定理）若 R 是 Rn 的一个子空间，那么 Rn 中每一个向量 y 可以唯一表示为
y=ˆy+z
其中 ˆy 属于 W 而 z 属于 W⊥。实际上，如果 {u1,⋯,up} 是 W 的任意正交基，那么
ˆy=y⋅u1u1⋅u1u1+⋯+y⋅upup⋅upup
且 z=y–ˆy。
(1) 式中的 ˆy 称为 y 在 W 上的正交投影，常记作 ProjWy。当 W 是一维子空间时，ˆy 的公式和前文一致。
分解式 (1) 的唯一性表明，正交投影 ˆy 仅依赖于 W，而不依赖 (2) 中使用的特殊基。
1. 正交投影的性质
如果 {u1,⋯,up} 是 W 的正交基，且若 y 正好属于 W，那么 ProjWy 的公式和前文定理 5 里 y 的表达式完全一致。此时，ProjWy=y。
如果y属于W=Span{u1,⋯,up},那么ProjWy=y
定理 9（最佳逼近定理）假设 W 是 Rn 的一个子空间，y 是 Rn 中的任意向量，ˆy 是 y 在 W 上的正交投影，那么 ˆy 是 W 中最接近 y 的点，也就是
‖y–ˆy‖<‖y–v‖
对所有属于 W 又异于 ˆy 的 v 成立。
定理 9 中的向量 ˆy 称为 W 中元素对 y 的最佳逼近。用 ‖y–v‖ 表示的从 y 到 v 的距离可以认为是用 v 代替 y 的“误差”。定理 8 说明误差在 v=ˆy 处取得最小值。
定理 10 如果 {u1,⋯,up} 是 Rn 中子空间 W 的单位正交基，那么
ProjWy=(y⋅u1)u1+(y⋅u2)u2+⋯+(y⋅up)up
如果 U=[u1u2⋯up]，则
ProjWy=UUTy,对所有y∈Rn成立
若 U 是列单位正交的 n×p 矩阵，W 是 U 的列空间，那么
UTUx=Ipx=x,对所有属于Rp的x成立UUTy=ProjWy,对所有属于Rn的y成立
如果 U 是 n×n （方）阵，且列单位正交，那么 U 是正交矩阵，列空间 W 是全部 Rn 空间。此时有 U−1=UT，UUT=UU−1=I，故 UUTy=Iy=y，对所有 y∈Rn 成立。