正交性、投影與里斯定理

把空間一分為二

給定子空間 W，其正交補 W-perp 是與 W 中一切向量都正交的向量之集。核心結構定理斷言 V = W (+) W-perp：每個向量都唯一地分解為 v = w + w'，其中 w 在 W 中、w' 在 W-perp 中。幾何賦予你一套與你所關心的任何子空間對齊的座標系。

保留 W-部分的映射 v -> w 就是到 W 上的正交投影 P。它是你在第一卷按公式計算的投影更乾淨、與基無關的同類。兩條事實把它完全釘死：P^2 = P（投影兩次毫無變化）以及 P 是自伴的——下一篇指南將精確化這一性質。

投影找到最近點

為何要在意？因為 Pv 是 v 在 W 內的最佳逼近：在所有 w in W 中，使 ||v - w|| 最小的恰是 w = Pv。誤差 v - Pv 與 W 正交，而正交性正是最優性條件。這就是最小二乘的抽象表述——同一思想，如今棲身於任意內積空間。

從 W 的任意一組基出發，運行格拉姆-施密特過程得到標準正交基 q_1, ..., q_k。
計算每個係數 c_i = <v, q_i>——v 沿 q_i 方向的分量。
組裝 Pv = c_1 q_1 + ... + c_k q_k；剩餘的 v - Pv 落在 W-perp 中。

Project v = (1, 1, 1) onto W = span{ (1,0,0), (0,1,0) } in R^3.
The basis is already orthonormal: q1 = e1, q2 = e2.

  c1 = <v, q1> = 1
  c2 = <v, q2> = 1
  Pv = 1*e1 + 1*e2 = (1, 1, 0)

  error v - Pv = (0, 0, 1)  is perpendicular to W   (its dot with q1, q2 is 0)
  nearest distance ||v - Pv|| = 1, the smallest possible.

正交投影選出子空間中最近的點；殘差與之垂直。

里斯：每個泛函都是一個向量

線性泛函是一個線性映射 f: V -> 純量——對向量的一次「測量」。里斯表示定理令人驚訝：在有限維內積空間上，每個這樣的 f 都有唯一向量 u，使得對一切 v 有 f(v) = <v, u>。抽象的測量，暗地裡不過是與某個隱藏向量作點積。

其證明全憑正交性。若 f = 0，取 u = 0。否則 f 的核是一張超平面；其一維正交補中藏著一個向量 z，對 z 作一次縮放即得所需的 u。里斯正是讓我們在下一篇指南中定義伴隨的那根槓桿：它把彆扭的映射 w -> <Tv, w> 轉化為與某向量的誠實配對。