应用：数据、图与动力系统
最小二乘回归
最小二乘回归在带噪声的数据中画出最佳的直线关系。你通常无法让一条线穿过每个点，于是改为挑选使总的竖直平方误差尽可能小的系数。从几何上看，你是在把数据投影到模型能触及的空间上。
设定是一个超定系统 A x = b（方程多于未知数，没有精确解）。最小二乘解最小化 ||A x - b||^2，微积分给出正规方程 A^T A x = A^T b。当 A 的列线性无关时，A^T A 可逆，x = (A^T A)^-1 A^T b。拟合值 A x 恰是 b 到 A 列空间上的正交投影。
干净的几何就是正交性：残差 b - A x 垂直于 A 的每一列，这正是 A^T (b - A x) = 0 所说的。正是这种垂直性使平方误差最小，也把回归直接与投影和内积联系起来。
为何重要：最小二乘是全部科学与工程中使用最广的拟合工具。实用的警示是条件数：构造 A^T A 会把条件数平方，可能损失精度，故为可靠计算请优先用 QR 分解，或在 A 秩亏或接近秩亏时用 SVD（它给出伪逆 / 最小范数解）。
minimize ||A x - b||^2 -> A^T A x = A^T b -> x = (A^T A)^-1 A^T b (or via QR/SVD)
正规方程使残差与 A 的列空间正交。
正规方程在数学上正确，但在数值上有风险：cond(A^T A) = cond(A)^2。QR 或 SVD 求解同一最小二乘问题却保持原有条件数，这正是各类库默认采用它们的原因。
又称
另见