泛函分析
投影定理
投影定理说：你总能作垂线。在希尔伯特空间中给定一点与一个闭子空间，子空间中恰有唯一一点离你的点最近，而从你的点到它的连线以直角与子空间相交——正如普通几何中从一点向平面作垂线。这一条几何事实同时驱动着最小二乘逼近与傅里叶展开。
确切地说，设 M 是希尔伯特空间 H 的闭子空间，x 是任意向量。则存在唯一的 m 属于 M 使距离 ||x - m|| 最小，且它由正交条件 x - m 属于 M-perp 刻画。于是 H = M (+) M-perp，而把 x 送到 m 的映射 P——到 M 的正交投影——是一个有界线性算子，满足 ||P|| = 1（当 M 非零）、P^2 = P，以及勾股分解 ||x||^2 = ||P x||^2 + ||x - P x||^2。
两条假设是本质的，绝非装饰。H 的完备性提供了实现最小化向量所需的极限；M 的闭性保证该极限落在 M 之内。去掉闭性，最近点就可能不存在；距离的下确界被逼近却从不达到，这正是为何标准假设是“闭子空间”而不仅是“子空间”。
用由 1, cos x, sin x 张成的闭子空间 M 逼近 [-pi, pi] 上的 f(x) = x，最佳逼近就是正交投影，由傅里叶系数算得：投影为 2 sin x，因为 <x, sin x>/<sin x, sin x> = 2，而常数项与余弦项的系数因对称而为零。误差 x - 2 sin x 与整个 M 正交。
最小二乘最佳拟合即正交投影；残差与拟合空间垂直。
最小化元的存在性依赖于平行四边形律：闭凸集中的极小化序列是柯西的，故在完备空间中收敛。因此证明暗中两次用到内积结构——一次用于正交性，一次用于给出柯西估计的平行四边形恒等式。
又称
另见