海森矩阵

如果说梯度告诉你多元函数的斜率，那么海森矩阵告诉你它的曲率——曲面如何弯曲：是像碗一样上凹、像穹顶一样下凸，还是扭成一个鞍。它是梯度的二阶伴侣，是二阶导数的多元类比，决定了某点附近的形状。

严格地说，标量函数 f 在某点的海森矩阵是 n × n 矩阵 H，其 (i, j) 元为二阶偏导数 d^2 f / (dx_i dx_j)。当 f 为 C^2 时，克莱罗定理使 H 对称。它作为泰勒展开的二次项出现：f(a + h) 约等于 f(a) + grad f(a) . h + (1/2) h^T H h，其中半二次型即曲率修正。

在临界点（梯度为零之处），海森矩阵的定性可分类该点：正定意味严格局部极小，负定意味严格局部极大，不定（特征值正负皆有）意味鞍点。一点诚实的告诫：若海森矩阵仅半定（有零特征值），则判别失效，须考察更高阶的行为。