投影定理

投影定理是几何在无穷维仍然奏效的原因。在 R^n 中，你能从任意一点向任意子空间作垂线，把这点分成内部的一部分加上垂直的一部分。投影定理说，这种“以垂足做最佳逼近”的事在任何希尔伯特空间中都存活下来——只要子空间是闭的。这一个词，闭，就是新的入场券。

精确地说：设 M 是希尔伯特空间 H 的闭子空间。则每个 x in H 都有唯一分解 x = m + n，其中 m in M，n 在正交补 M-perp 中，且 m 是 M 中离 x 最近的唯一点。记号上 H = M (+) M-perp 是一个正交直和，且 (M-perp)-perp = M。映射 x -> m 是到 M 的正交投影，一个范数为 1 的自伴幂等算子（除非 M 平凡）。

为什么闭性不容商量：在无穷维中，一个子空间可以稠密却不等于整个空间，而非闭子空间的最近点可能干脆不存在——垂足落在一个洞上。闭性保证下确界距离确实被取到。H 的完备性正是使极小化序列收敛的东西，所以这条定理在不完备的内积空间中失效。

为什么重要：这是最小二乘、概率中的条件期望（它就是 L^2 中的正交投影）、傅里叶部分和（到有限多个基函数张成空间的投影，即最佳 L^2 逼近），以及使整套希尔伯特空间工具运转的正交补存在性背后的引擎。简而言之，它就是那条让你能说出“最佳拟合”并且当真的定理。