基礎:演算法、近似與誤差
收斂階
收斂階衡量一個迭代過程的誤差,在迭代值逼近答案時,從一步到下一步下降得多快。若 e_n = |x_n - x*| 是第 n 步的誤差,而當 n 增大時它表現得像 e_{n+1} 約等於 C 乘以 e_n^p,則 p 是收斂階、C 是漸近常數。p 越大,誤差在答案附近崩塌得越猛烈。
有三種情況值得命名。階 p = 1 且 0 < C < 1 是線性收斂:誤差每步乘以相同因子,故幾何下降,你每步約獲得固定數目的位數——二分法(C = 1/2,每步一個二進位數)是範本。階 p = 2 是二次收斂:誤差每步平方,故正確位數每步大致加倍——簡單根附近的牛頓法是著名例子,三步內從 3 到 6 到 12 位正確數字飛奔。介於兩者之間的超線性收斂(快於線性但不到二次,如割線法的黃金階 p 約 1.618)是常見的折衷。
收斂階重要,因為它告訴你為了某個精度須付出多少次迭代,而差別巨大:二次方法用少數幾步就達到機器精度,線性方法則可能需要數十步。但階是一個局部、漸近的承諾——它只描述你已經接近答案後的行為。牛頓法只在簡單根附近、且有好的初始猜測時是二次的;從壞的起點它可能發散或循環,而在重根處其階降為線性。若迭代永遠無法靠得夠近以進入快速階段,高階就毫無用處。
對 f(x) = x^2 - 2 從 x_0 = 1.5 用牛頓法:誤差 8.6e-2、2.4e-3、2.1e-6、1.6e-12——每個大致是前一個的平方,正確位數每步加倍,這正是 2 階的特徵。
二次階 p = 2:誤差每步平方,故位數加倍——但僅在你已接近時。
階是一個局部、漸近的性質。牛頓法的二次階只在簡單根附近、從好的起點才成立;從壞的起點它可能發散或循環,而在重根處階降為線性。
又稱
另見