泛函分析
投影定理
投影定理說：你總能作垂線。在希爾伯特空間中給定一點與一個閉子空間，子空間中恰有唯一一點離你的點最近，而從你的點到它的連線以直角與子空間相交——正如普通幾何中從一點向平面作垂線。這一條幾何事實同時驅動著最小二乘逼近與傅立葉展開。
確切地說，設 M 是希爾伯特空間 H 的閉子空間，x 是任意向量。則存在唯一的 m 屬於 M 使距離 ||x - m|| 最小，且它由正交條件 x - m 屬於 M-perp 刻畫。於是 H = M (+) M-perp，而把 x 送到 m 的映射 P——到 M 的正交投影——是一個有界線性算子，滿足 ||P|| = 1（當 M 非零）、P^2 = P，以及畢氏分解 ||x||^2 = ||P x||^2 + ||x - P x||^2。
兩條假設是本質的，絕非裝飾。H 的完備性提供了實現最小化向量所需的極限；M 的閉性保證該極限落在 M 之內。去掉閉性，最近點就可能不存在；距離的下確界被逼近卻從不達到，這正是為何標準假設是“閉子空間”而不僅是“子空間”。
用由 1, cos x, sin x 張成的閉子空間 M 逼近 [-pi, pi] 上的 f(x) = x，最佳逼近就是正交投影，由傅立葉係數算得：投影為 2 sin x，因為 <x, sin x>/<sin x, sin x> = 2，而常數項與餘弦項的係數因對稱而為零。誤差 x - 2 sin x 與整個 M 正交。
最小二乘最佳擬合即正交投影；殘差與擬合空間垂直。
最小化元的存在性依賴於平行四邊形律：閉凸集中的極小化序列是柯西的，故在完備空間中收斂。因此證明暗中兩次用到內積結構——一次用於正交性，一次用於給出柯西估計的平行四邊形恆等式。
又稱
另見