多元最佳化

駐點(stationary point)

在一維曲線上,平坦處——切線水平的地方——是極大或極小唯一可能藏身之處。多元函數的駐點正是這一思想的多元回聲:在該點曲面在每個方向上都瞬時持平,因而無論你往哪個方向邁出極小一步,高度到一階都不變。

精確地說,當梯度在某內部點消失時,該點就是駐點:grad f = 0,也就是所有偏導數 df/dx, df/dy, ... 同時為零。曲面的切平面是水平的。等價地,f 在該點附近的最佳線性逼近沒有斜率。駐點有三種:局部極大、局部極小和鞍點,而單憑梯度條件無法把它們區分開來;這項工作屬於二階導數判別法和黑塞矩陣。

駐點是任何無約束最佳化都必須首先找到的候選點。在物理中,它們是勢能的平衡點:小球停在勢能持平之處。在統計中,極大似然估計落在對數似然的駐點上。一個值得記住的微妙之處:函數也可能在梯度不存在的點(尖角)或在定義域邊界上取得極值——所以尋找駐點只覆蓋光滑內部,其餘情形必須另作補充。

對 f(x, y) = x^3 - 3x + y^2,梯度為 (3x^2 - 3, 2y)。令其為零得 y = 0 且 x = +1 或 x = -1,故有兩個駐點:(1, 0) 和 (-1, 0)。只有二階導數判別法才揭示出 (1, 0) 是局部極小、(-1, 0) 是鞍點。

求解 grad f = 0 列出所有候選點;對它們分類則是單獨的二階步驟。

駐點與極值點不是同義詞:每個光滑內部極值點都是駐點,但一般函數的大多數駐點是鞍點,而非極值點。

又稱
critical point临界点臨界點