線性最小平方問題（linear least-squares problem）
當你無法滿足每一條方程式時，次佳的選擇是什麼？最小平方法的答案是：選一個 x，使得剩餘量——殘差 r = b - A x——盡可能地小，而「小」是用一般的歐幾里得長度來衡量。你在挑一個 x，使它的預測 A x 整體上最貼近觀測資料 b。這是「在散點中畫出最佳直線」背後的主力，也是大量統計與機器學習的根基。
精確地說：給定 m×n 矩陣 A 與向量 b，求一個 x 使 ||A x - b||_2 最小，等價於使殘差平方和 (A x - b)_1^2 + ... + (A x - b)_m^2 最小。把殘差平方是關鍵選擇：它讓目標函數成為 x 的光滑、碗狀（凸二次）函數，因此只要 A 行滿秩（各行線性獨立）就有唯一最小值，而我們可藉由令梯度為零來求它。為何用平方而不用絕對值？平方給出乾淨的線性閉式解，對大誤差加重懲罰，而且——在高斯雜訊下——恰好對應最大概似估計。代價是：平方也使最小平方法對離群值敏感，因為單一狂野的點會貢獻它誤差的平方。
實際計算最小化解有幾種數值上截然不同的途徑：建立並求解法方程 A^T A x = A^T b（便宜但會把條件數平方）、對 A 做 QR 分解（標準且穩定的選擇），或用 SVD／偽逆（最穩健，也是 A 秩虧時的正確工具）。它們瞄準同一個 x，但在病態資料上的準確度差異極大。做得好的「最小平方法」是數值計算中安靜的勝利之一。
對三個點 (1,2)、(2,2)、(3,4)，取 A 的各列為 (1,1)、(1,2)、(1,3) 且 b = (2,2,4)^T，最小平方直線約為 y = 2/3 + x。它的殘差約為 (1/3, -2/3, 1/3)：沒有任何一條方程式被滿足，但平方總和是可能達到的最小值。
最佳擬合直線最小化的是各垂直間隙的平方總和，而非任何單一間隙。
最小平方法最小化的是殘差的「平方」和，會重重懲罰離群值；若你的資料有狂野的點，穩健的替代方法（最小絕對偏差、Huber 損失）往往擬合得更好——最小平方法主要在高斯雜訊下才是最優的。