求根與非線性方程

Broyden 法(Broyden's method)

/ BROY-dun /

多元牛頓法威力強大,卻付出沉重的代價:每一次迭代都必須建出新的雅可比矩陣——全部 n 乘 n 個偏導數——並用它解一個線性系統。當函數昂貴,或你沒有導數公式時,每步重算整個矩陣令人痛苦。Broyden 法是巧妙的捷徑:保留一個「近似」雅可比矩陣,並從你剛走的那一步便宜地更新它,而非從頭建造。

它是割線法的多維表親。回想割線法用相鄰兩點估計一維斜率;Broyden 對整個矩陣做類比的事。從雅可比矩陣的某個近似 B_0 出發(常是有限差分估計,甚至單位矩陣),每步解 B_n * s = -F(x_n) 求步,更新 x_{n+1} = x_n + s,再用秩一的「good Broyden」更新調整 B:B_{n+1} = B_n + ((y - B_n s) s^T) / (s^T s),其中 y = F(x_{n+1}) - F(x_n)。這個更新是與新函數值相容(割線條件 B_{n+1} s = y)的對 B 的最小改動。關鍵是,秩一的改動讓你能便宜地更新矩陣「分解」(O(n^2) 的工作量),而非從頭重新分解(O(n^3))。

代價是熟悉的那個。Broyden 只「超線性」收斂,不像完整牛頓法那樣二次——它需要更多迭代——但每次迭代便宜得多,因為沒有雅可比矩陣要計算,也沒有新的 O(n^3) 分解,所以總工作量常勝出,尤其當導數昂貴時。它是一維中選割線法而非牛頓法的系統級類比,並屬於更廣的擬牛頓家族(BFGS 是它在最佳化中對稱的表親)。和所有牛頓型方法一樣,它仍需要合理的起始猜測,離解遠時也可能失敗。

對同一個圓與拋物線的系統,你可以用初始猜測處的有限差分雅可比矩陣作為 B_0 來啟動 Broyden,然後「再也不」計算任何導數:每步解 B s = -F、走一步、用秩一公式微調 B。它比牛頓法多幾次迭代才到交點,但不再計算任何雅可比矩陣。

便宜地(秩一)更新雅可比矩陣,而非重建——超線性、免導數。

Broyden 以牛頓法的二次速度換取更便宜的步:它超線性而非二次收斂,且近似雅可比矩陣可能偏移,所以有時需要定期重啟(精確重算 B)。它仍需要尚可的起始猜測。

又称
quasi-Newton method for systemsBroyden updatesecant method for systems擬牛頓法(求解系統)