雅可比與高斯-賽德爾迭代

這是最古老的迭代求解器，也是最乾淨地領會這一思想的方式。取 Ax = b，把第 i 個方程改寫成孤立第 i 個未知數：x_i 等於（b_i 減去其餘各項）除以 A_ii。這個公式天生就該被迭代——把你當前對其餘未知數的猜測代入，得到 x_i 的新猜測，如此反覆。雅可比在一輪掃描內只用舊值；高斯-賽德爾則一算出新值就立即複用。

兩者都符合一個稱作矩陣分裂的統一模板。寫 A = M - N，其中 M 容易求逆。迭代為 M x_{k+1} = N x_k + b，等價地 x_{k+1} = M^-1 (N x_k + b)。對雅可比，M 是 A 的對角部分；對高斯-賽德爾，M 是下三角部分（含對角）。這個映射的行為完全由迭代矩陣 G = M^-1 N 支配。

收斂有一個乾淨的判據：當且僅當譜半徑 rho(G)——G 絕對值最大的特徵值——嚴格小於 1 時，迭代對任何初始猜測都收斂。rho(G) 越小越快：誤差每掃描一輪大致縮小為原來的 rho(G) 倍。高斯-賽德爾通常勝過雅可比，因為使用新鮮值往往給出更小的譜半徑，且與雅可比不同，它不需要向量的第二份副本。

在現代實踐中，它們很少作為獨立求解器使用——在難題上收斂太慢。但它們作為多重網格法內部的光滑子、以及預條件子的構件而長存，在那裡，幾輪廉價的掃描能極漂亮地阻尼掉高頻誤差分量。