二次收斂(quadratic convergence)
逼近答案有慢的方式,也有快的方式。線性收斂每步削去誤差的固定一部分——像每年還 10% 的債。二次收斂做得驚人地好:它每步大致把誤差「平方」,於是正確位數加倍。三位正確變六位、再變十二位、再變二十四位。幾步之後就直接結束了。
精確地說,收斂到 x* 的數列 x_n 具有階數 p,若誤差 e_n = x_n - x* 對所有夠大的 n 滿足 |e_{n+1}| <= C * |e_n|^p(某常數 C)。p = 1(且 C < 1)為線性;p = 2 為二次;介於 1 與 2 之間者稱為超線性。對二次階,一旦誤差變小,平方它便使之驟降:若 e_n 約為 10^-3,則 e_{n+1} 約為 C * 10^-6,下一個約為 10^-12。牛頓法在單根處達到 p = 2,因為它的誤差遞迴為 e_{n+1} 約等於 (f''(x*) / (2 f'(x*))) * e_n^2——線性項抵消,只剩平方項。
兩個誠實的提醒讓這件事保持分寸。第一,平方效應只在你「夠近」(落在根附近的吸引盆)時才啟動;遠處的二次收斂法可能行為不穩,甚至完全不收斂。第二,階數是方法「在某個問題上」的性質:牛頓法在「重根」處(f' 也消失)退化為僅線性收斂,而問題本身病態時,無論階數多高,可達到的精度都會被條件數封頂。高階很美妙,但它救不了糟糕的起始猜測或病態的根。
對 x^2 - 2 從 x_0 = 1.5 用牛頓法,誤差(相對 sqrt(2))約為 8.6e-2、2.5e-3、2.1e-6、1.6e-12:每個誤差大致是前一個的平方。對照同一問題的二分法,其誤差每步只減半(線性),要達到牛頓法 4 步就到的精度約需 40 步。
二次:誤差平方(位數加倍)。線性:誤差按固定比例縮小。
二次收斂是漸近且「局部」的:它描述靠近根之後數列的尾段,而非早期的遊蕩。理論上二次的方法仍可能因起點糟糕而發散,且在重根處退化為線性。