多元优化

黑塞矩阵的定性(definiteness of the Hessian)

/ Hessian: HESS-ee-uhn /

黑塞矩阵汇集了函数的全部二阶偏导数,因而一次性描述了它的曲面在每个方向上的弯曲。定性是这个矩阵的一项性质,它告诉你弯曲是开口向上、向下还是混合。它正是极小、极大、鞍点这些词背后的精确含义。

对称矩阵 H 称为正定,若二次型 v 转置乘 H 乘 v 对每个非零方向 v 都严格为正——意味着无论你朝哪走,曲面都向上弯。若该二次型恒为负(处处向下弯)则为负定;若对某些方向为正、对另一些为负则为不定(鞍点)。最干净的检验是特征值:正定即所有特征值为正,负定即全为负,不定即正负混杂。低维下有一个等价检验,看顺序主子式的符号(西尔维斯特判据)。当某些特征值为零时,矩阵只是半定,二阶判别无法决断。

定性使二阶导数判别法得以运作,但它的作用远不止此。一个黑塞矩阵处处半正定的函数是凸函数,这是优化的黄金标准,因为此时每个驻点都是全局极小。定性还支配力学中平衡的稳定性(正定的刚度矩阵意味着稳定的静止位置)、最小二乘问题的适定性,以及统计中协方差矩阵是否合法。它是微积分与线性代数之间的桥梁。

矩阵 [2, 1; 1, 2] 的特征值为 3 和 1,皆为正,故正定——黑塞矩阵为它的函数处于局部极小。矩阵 [1, 0; 0, -1] 的特征值为 1 和 -1,符号相反,故不定——是鞍点。

特征值的符号直接读出定性:全正是极小,混杂是鞍点。

仅有正的对角元并不保证正定——非对角的耦合也要紧。[1, 2; 2, 1] 对角为正,但特征值为 3 和 -1,故为不定。

又称
Hessian definiteness矩阵的正定负定矩陣的正定負定