求根與非線性方程

多元牛頓法(Newton's method for systems)

許多真實問題要你解的不是一個方程,而是同時數個:找出讓十幾個耦合的非線性關係一起消失的那組值——想想配平化學反應、求電路的平衡點,或擬合物理模型。牛頓法漂亮地推廣到這個情境。單一切線變成切「平面」(整個系統的最佳線性近似),沿它走到碰零之處,意味著每一步要解一個線性系統。

把系統寫成向量方程 F(x) = 0,其中 x 是 n 個未知數的向量,F 回傳 n 個值。局部線性模型為 F(x) 約等於 F(x_n) + J(x_n)(x - x_n),其中 J 是「雅可比矩陣」——所有偏導數構成的 n 乘 n 格子,J_ij = partial F_i / partial x_j。令模型為零,得牛頓步:解線性系統 J(x_n) * s = -F(x_n) 求步 s,再更新 x_{n+1} = x_n + s。注意我們是「解」線性系統(用 LU 分解),而非構造逆矩陣 J^-1——構造逆矩陣浪費且較不準。於是每次迭代花一次雅可比計算加一次線性求解(約 (2/3)n^3 次浮點運算)。在單根附近(J 非奇異),收斂仍是二次,與一維時相同。

與一維相同的誠實提醒,在此被放大。多元牛頓法需要好的起始猜測;離解遠時可能發散或遊蕩,所以實用程式加上線搜尋或信賴域(對步長加阻尼),使它全域上更可靠。雅可比矩陣可能昂貴或無解析式——你可用有限差分近似(額外 n 次函數計算)或自動微分,而 Broyden 法等擬牛頓法避免每步重算它。若 J 在根處奇異或病態,收斂正如近零導數傷害一維方法那樣退化。

解兩個方程 x^2 + y^2 = 1 與 y = x^2(圓與拋物線相交)。寫 F = [x^2 + y^2 - 1, y - x^2];雅可比矩陣的兩列為 (2x, 2y) 與 (-2x, 1)。從如 (0.8, 0.6) 的猜測出發,每步解 2 乘 2 系統 J s = -F 並更新,二次收斂到交點 (0.786, 0.618)。

每步解 J s = -F;雅可比矩陣是整個系統的切平面。

每步是「解」J s = -F(一次 LU 分解),絕不構造 J^-1——求逆浪費且較不準。而二次收斂仍要求好的起始猜測與非奇異的雅可比矩陣;遠處你需要線搜尋或信賴域。

又稱
multivariate Newton's methodNewton-Raphson for systemsNewton's method with the Jacobian向量牛頓法