最小平方法（least-squares fitting）

你有一團資料點明顯沿一條直線趨勢分布，你想要那條穿過它們的最佳直線。但當沒有一條線能通過每一點時，「最佳」是什麼意思？最小平方法給出一個具體、可操作的定義：最佳曲線是使資料整體偏離最小的那一條，而偏離以「點與曲線之間垂直間距的平方和」來衡量。

給定資料 (x_i, y_i) 與帶有可調參數的模型 y = f(x; a, b, ...)，最小平方法選出使殘差平方和 S = (y_i - f(x_i))^2 的總和 最小的參數。當每個點各帶有不確定度 sigma_i 時，你改為最小化卡方 (y_i - f(x_i))^2 / sigma_i^2 的總和，這會合理地對較嘈雜的點降權。對於參數線性的模型，例如直線 y = a + b x，令導數 dS/da = dS/db = 0 會得到正規方程（normal equations），一個有閉式解的小型線性方程組；對於非線性模型，則以迭代做數值最小化。

這是從資料中萃取物理參數的預設方法：一個斜率就是彈簧常數、一個截距就是自然長度、一個指數就是衰變率。它不只回傳最佳擬合值，也回傳其不確定度與相關性，這些從卡方在其最小值附近的曲率讀出。誠實的警告是：最小平方法只有在誤差為高斯（常態）時才是最佳的、才與最大似然一致；由於它把殘差平方，它對離群值出了名地敏感，單一個狂野的點就有巨大的槓桿作用，而其基本形式假設 x 值基本上沒有誤差。