雅可比与高斯-赛德尔迭代

这是最古老的迭代求解器，也是最干净地领会这一思想的方式。取 Ax = b，把第 i 个方程改写成孤立第 i 个未知数：x_i 等于（b_i 减去其余各项）除以 A_ii。这个公式天生就该被迭代——把你当前对其余未知数的猜测代入，得到 x_i 的新猜测，如此反复。雅可比在一轮扫描内只用旧值；高斯-赛德尔则一算出新值就立即复用。

两者都符合一个称作矩阵分裂的统一模板。写 A = M - N，其中 M 容易求逆。迭代为 M x_{k+1} = N x_k + b，等价地 x_{k+1} = M^-1 (N x_k + b)。对雅可比，M 是 A 的对角部分；对高斯-赛德尔，M 是下三角部分（含对角）。这个映射的行为完全由迭代矩阵 G = M^-1 N 支配。

收敛有一个干净的判据：当且仅当谱半径 rho(G)——G 绝对值最大的特征值——严格小于 1 时，迭代对任何初始猜测都收敛。rho(G) 越小越快：误差每扫描一轮大致缩小为原来的 rho(G) 倍。高斯-赛德尔通常胜过雅可比，因为使用新鲜值往往给出更小的谱半径，且与雅可比不同，它不需要向量的第二份副本。

在现代实践中，它们很少作为独立求解器使用——在难题上收敛太慢。但它们作为多重网格法内部的光滑子、以及预处理子的构件而长存，在那里，几轮廉价的扫描能极漂亮地阻尼掉高频误差分量。