正交性、投影与里斯定理

把空间一分为二

给定子空间 W，其正交补 W-perp 是与 W 中一切向量都正交的向量之集。核心结构定理断言 V = W (+) W-perp：每个向量都唯一地分解为 v = w + w'，其中 w 在 W 中、w' 在 W-perp 中。几何赋予你一套与你所关心的任何子空间对齐的坐标系。

保留 W-部分的映射 v -> w 就是到 W 上的正交投影 P。它是你在第一卷按公式计算的投影更干净、与基无关的同类。两条事实把它完全钉死：P^2 = P（投影两次毫无变化）以及 P 是自伴的——下一篇指南将精确化这一性质。

投影找到最近点

为何要在意？因为 Pv 是 v 在 W 内的最佳逼近：在所有 w in W 中，使 ||v - w|| 最小的恰是 w = Pv。误差 v - Pv 与 W 正交，而正交性正是最优性条件。这就是最小二乘的抽象表述——同一思想，如今栖身于任意内积空间。

从 W 的任意一组基出发，运行格拉姆-施密特过程得到标准正交基 q_1, ..., q_k。
计算每个系数 c_i = <v, q_i>——v 沿 q_i 方向的分量。
组装 Pv = c_1 q_1 + ... + c_k q_k；剩余的 v - Pv 落在 W-perp 中。

Project v = (1, 1, 1) onto W = span{ (1,0,0), (0,1,0) } in R^3.
The basis is already orthonormal: q1 = e1, q2 = e2.

  c1 = <v, q1> = 1
  c2 = <v, q2> = 1
  Pv = 1*e1 + 1*e2 = (1, 1, 0)

  error v - Pv = (0, 0, 1)  is perpendicular to W   (its dot with q1, q2 is 0)
  nearest distance ||v - Pv|| = 1, the smallest possible.

正交投影选出子空间中最近的点；残差与之垂直。

里斯：每个泛函都是一个向量

线性泛函是一个线性映射 f: V -> 标量——对向量的一次“测量”。里斯表示定理令人惊讶：在有限维内积空间上，每个这样的 f 都有唯一向量 u，使得对一切 v 有 f(v) = <v, u>。抽象的测量，暗地里不过是与某个隐藏向量作点积。

其证明全凭正交性。若 f = 0，取 u = 0。否则 f 的核是一张超平面；其一维正交补中藏着一个向量 z，对 z 作一次缩放即得所需的 u。里斯正是让我们在下一篇指南中定义伴随的那根杠杆：它把别扭的映射 w -> <Tv, w> 转化为与某向量的诚实配对。