正交投影

給定分裂 V = W (+) W-perp，到 W 上的正交投影 P 把每個向量送到它的 W 分量，丟棄正交於 W 的部分。從幾何上看，P v 是 v 在子空間 W 上的影子，由垂直於 W 筆直照下的光投出。

兩條代數性質完全刻畫了它：P 冪等（P^2 = P——投影兩次等同於一次）且自伴（P^* = P）。自伴性正是使投影正交而非斜投的關鍵；一個非自伴的冪等算子沿著歪斜、不垂直的方向投影。

它的看家本領是最佳逼近：在 W 的所有向量中，P v 是唯一離 v 最近者。誤差 v - P v 落在 W-perp 中，且比 v - w 對任何其他 w 屬於 W 都短（由畢氏定理）。這正是最小二乘背後的引擎——最小二乘解不過是資料在行空間上的正交投影。

若 q_1,...,q_k 是 W 的標準正交基，則 P v = sum <v, q_j> q_j：把沿各基方向的分量加起來。把這些行放進 Q，矩陣形式為 P = Q Q^*。任何正交投影的特徵值只有 0 與 1——完全保留或完全丟棄，沒有中間地帶。