后向误差

后向误差重新表述了你对数值算法所提的问题。它不问答案有多错，而是问：对于哪个邻近的问题，计算出的答案恰好是对的？使你计算出的输出成为精确解的最小输入数据扰动，就是后向误差。后向误差小，意味着算法所解的问题本质上等同于你所提出的那个。

具体地，若你求解 A x = b 并得到近似的 x_hat，后向误差就是使得 (A + delta A) x_hat = b + delta b 恰好成立的最小 ||delta A||（及 ||delta b||）。对线性系统，这可由残差 r = b - A x_hat 廉价地算出；微小的相对残差证明了微小的后向误差。

若一个算法总能给出后向误差量级在机器精度附近的答案——双精度下约为 10^-16——就称它后向稳定。带部分主元的高斯消元、基于 QR 的最小二乘，以及对称特征值求解器都是后向稳定的。计算出的答案所解的问题，在你本就拥有的输入噪声下，与你的问题无从区分。

深层要点在于关注点的分离。后向误差评判算法；条件数评判问题。两者之积就是前向误差——答案实际有多错。后向稳定的算法给你所能企盼的最好结果，但它无法让病态问题变得准确。