最小平方法（least squares）

有時 A*x = b 沒有精確解：方程比未知數多，沒有哪個 x 能同時滿足全部（想想用一條直線去擬合一堆散落的點）。最小平方法回答一個更溫和的問題：哪個 x 最接近？

這裡的「最接近」指總平方誤差最小。你量出 A*x 落點離 b 有多遠，把這個差距平方，再挑出讓平方偏差盡可能小的那個 x。平方既讓一切為正，又對大偏差的懲罰遠重於小偏差。

從幾何上看，這不過是一次投影。可達的輸出 A*x 構成一個子空間（A 的列空間），而最佳逼近正是 b 在該子空間上的影子，剩餘誤差則垂直地立在其上。這是直線擬合與迴歸分析的支柱。