最小二乘法（least squares）

有时 A*x = b 没有精确解：方程比未知数多，没有哪个 x 能同时满足全部（想想用一条直线去拟合一堆散落的点）。最小二乘法回答一个更温和的问题：哪个 x 最接近？

这里的「最接近」指总平方误差最小。你量出 A*x 落点离 b 有多远，把这个差距平方，再挑出让平方偏差尽可能小的那个 x。平方既让一切为正，又对大偏差的惩罚远重于小偏差。

从几何上看，这不过是一次投影。可达的输出 A*x 构成一个子空间（A 的列空间），而最佳逼近正是 b 在该子空间上的影子，剩余误差则垂直地立在其上。这是直线拟合与回归分析的支柱。