多元最佳化

黑塞矩陣的定性(definiteness of the Hessian)

/ Hessian: HESS-ee-uhn /

黑塞矩陣匯集了函數的全部二階偏導數,因而一次性描述了它的曲面在每個方向上的彎曲。定性是這個矩陣的一項性質,它告訴你彎曲是開口向上、向下還是混合。它正是極小、極大、鞍點這些詞背後的精確含義。

對稱矩陣 H 稱為正定,若二次型 v 轉置乘 H 乘 v 對每個非零方向 v 都嚴格為正——意味著無論你朝哪走,曲面都向上彎。若該二次型恆為負(處處向下彎)則為負定;若對某些方向為正、對另一些為負則為不定(鞍點)。最乾淨的檢驗是特徵值:正定即所有特徵值為正,負定即全為負,不定即正負混雜。低維下有一個等價檢驗,看順序主子式的符號(西爾維斯特判據)。當某些特徵值為零時,矩陣只是半定,二階判別無法決斷。

定性使二階導數判別法得以運作,但它的作用遠不止此。一個黑塞矩陣處處半正定的函數是凸函數,這是最佳化的黃金標準,因為此時每個駐點都是全域極小。定性還支配力學中平衡的穩定性(正定的剛度矩陣意味著穩定的靜止位置)、最小二乘問題的適定性,以及統計中協方差矩陣是否合法。它是微積分與線性代數之間的橋樑。

矩陣 [2, 1; 1, 2] 的特徵值為 3 和 1,皆為正,故正定——黑塞矩陣為它的函數處於局部極小。矩陣 [1, 0; 0, -1] 的特徵值為 1 和 -1,符號相反,故不定——是鞍點。

特徵值的符號直接讀出定性:全正是極小,混雜是鞍點。

僅有正的對角元並不保證正定——非對角的耦合也要緊。[1, 2; 2, 1] 對角為正,但特徵值為 3 和 -1,故為不定。

又稱
Hessian definiteness矩阵的正定负定矩陣的正定負定