正规方程（normal equations）

正规方程是对最小二乘问题的精确代数回答：给定一个超定系统——方程比未知数多、没有精确解——哪一组未知数取值最接近？它们就是为得到最佳最小二乘拟合而必须求解的线性方程组，直接由令平方误差的梯度为零而得。

把模型写成 A x = b，其中 A 是输入矩阵，x 是未知参数，b 是观测数据；因为没有精确解，我们最小化残差的平方，即 A x - b 的长度平方。对这个二次式求导并令梯度为零，得到 A 转置乘 A 乘 x = A 转置乘 b。这就是正规方程。正规这个名字是几何的：残差向量 A x - b 被弄得与 A 的列空间垂直（法向）——最佳拟合是数据在模型可达空间上的正交投影，剩下的误差以直角伸出。当 A 转置乘 A 可逆（A 的列线性无关）时，解唯一。

正规方程是贯穿科学的回归与数据拟合的脊梁。它诚实的提醒是数值上的：构造 A 转置乘 A 会把 A 的条件数平方，对病态问题可能严重放大舍入误差。因此，谨慎的软件通常不直接求解正规方程，而改用 QR 分解或奇异值分解——数学上答案相同，数值上稳定得多。然而，正规方程仍是理解最小二乘为何有效、以及最佳是在向什么投影的最清晰途径。