黑塞矩阵(Hessian matrix)
/ Hessian: HESS-ee-an /
梯度刻画曲面如何倾斜;黑塞矩阵刻画它如何弯曲。它是多元的二阶导数:一个由全部二阶偏导数组成的方阵,记录函数在每一对方向之内与之间的弯曲。一元微积分用单个二阶导数区分上凹与下凹,而多元情形需要一整个矩阵,因为曲率如今依赖于方向。
对 f(x, y),黑塞矩阵是 2 乘 2 矩阵 [partial^2 f / partial x^2, partial^2 f / (partial x partial y); partial^2 f / (partial y partial x), partial^2 f / partial y^2]。对角元是沿各轴的纯曲率;非对角元是混合偏导,记录一个方向的斜率随你在另一方向移动时如何变化。由克莱罗定理,混合偏导只要连续就相等,所以黑塞矩阵在实践中是对称的。对称矩阵可分类为正定、负定或不定,而这个分类恰好把临界点判别为局部极小(碗朝上)、局部极大(碗朝下)或鞍点(一个方向上、另一个方向下)。
黑塞矩阵是二阶导数判别法与二阶泰勒展开的引擎,并且是快速优化的核心:极小化的牛顿法用黑塞矩阵的逆向临界点跃进,远比梯度下降快,而黑塞矩阵的本征值设定了决定一个问题极小化难度的条件数。在物理中它表现为平衡点附近的力常数矩阵,其本征值给出振动系统的简正模角频率的平方。
对于 f(x, y) = x^2 - y^2,黑塞矩阵为 [2, 0; 0, -2],处处为常数。它不定(一个正本征值、一个负本征值),所以原点处的临界点是鞍点——沿 x 上升、沿 y 下降。
不定的黑塞矩阵(本征值符号混杂)标志着鞍点:一个方向上凹、另一个方向下凹。
黑塞矩阵只有当混合偏导连续时才对称;一个著名反例在原点处混合偏导不相等。而当黑塞矩阵奇异(有零本征值)时,二阶导数判别法无法判定——你必须进一步考察。