投影定理

投影定理是幾何在無窮維仍然奏效的原因。在 R^n 中，你能從任意一點向任意子空間作垂線，把這點分成內部的一部分加上垂直的一部分。投影定理說，這種「以垂足做最佳逼近」的事在任何希爾伯特空間中都存活下來——只要子空間是閉的。這一個詞，閉，就是新的入場券。

精確地說：設 M 是希爾伯特空間 H 的閉子空間。則每個 x in H 都有唯一分解 x = m + n，其中 m in M，n 在正交補 M-perp 中，且 m 是 M 中離 x 最近的唯一點。記號上 H = M (+) M-perp 是一個正交直和，且 (M-perp)-perp = M。映射 x -> m 是到 M 的正交投影，一個範數為 1 的自伴冪等算子（除非 M 平凡）。

為什麼閉性不容商量：在無窮維中，一個子空間可以稠密卻不等於整個空間，而非閉子空間的最近點可能乾脆不存在——垂足落在一個洞上。閉性保證下確界距離確實被取到。H 的完備性正是使極小化序列收斂的東西，所以這條定理在不完備的內積空間中失效。

為什麼重要：這是最小二乘、機率中的條件期望（它就是 L^2 中的正交投影）、傅立葉部分和（到有限多個基函數張成空間的投影，即最佳 L^2 逼近），以及使整套希爾伯特空間工具運轉的正交補存在性背後的引擎。簡而言之，它就是那條讓你能說出「最佳擬合」並且當真的定理。