正交投影

给定分裂 V = W (+) W-perp，到 W 上的正交投影 P 把每个向量送到它的 W 分量，丢弃正交于 W 的部分。从几何上看，P v 是 v 在子空间 W 上的影子，由垂直于 W 笔直照下的光投出。

两条代数性质完全刻画了它：P 幂等（P^2 = P——投影两次等同于一次）且自伴（P^* = P）。自伴性正是使投影正交而非斜投的关键；一个非自伴的幂等算子沿着歪斜、不垂直的方向投影。

它的看家本领是最佳逼近：在 W 的所有向量中，P v 是唯一离 v 最近者。误差 v - P v 落在 W-perp 中，且比 v - w 对任何其他 w 属于 W 都短（由勾股定理）。这正是最小二乘背后的引擎——最小二乘解不过是数据在列空间上的正交投影。

若 q_1,...,q_k 是 W 的标准正交基，则 P v = sum <v, q_j> q_j：把沿各基方向的分量加起来。把这些列放进 Q，矩阵形式为 P = Q Q^*。任何正交投影的特征值只有 0 与 1——完全保留或完全丢弃，没有中间地带。