最小二乘回歸

最小二乘回歸在帶雜訊的資料中畫出最佳的直線關係。你通常無法讓一條線穿過每個點，於是改為挑選使總的豎直平方誤差盡可能小的係數。從幾何上看，你是在把資料投影到模型能觸及的空間上。

設定是一個超定系統 A x = b（方程多於未知數，沒有精確解）。最小二乘解最小化 ||A x - b||^2，微積分給出正規方程 A^T A x = A^T b。當 A 的行線性無關時，A^T A 可逆，x = (A^T A)^-1 A^T b。擬合值 A x 恰是 b 到 A 行空間上的正交投影。

乾淨的幾何就是正交性：殘差 b - A x 垂直於 A 的每一行，這正是 A^T (b - A x) = 0 所說的。正是這種垂直性使平方誤差最小，也把回歸直接與投影和內積聯繫起來。

為何重要：最小二乘是全部科學與工程中使用最廣的擬合工具。實用的警示是條件數：構造 A^T A 會把條件數平方，可能損失精度，故為可靠計算請優先用 QR 分解，或在 A 秩虧或接近秩虧時用 SVD（它給出偽逆 / 最小範數解）。