鞍点（saddle point）

坐上马鞍看看它的形状：它朝前后向上弯，朝左右向下弯。曲面的鞍点正是这种几何——一个驻点，沿某些方向是极小、沿另一些方向是极大，因而既非真正的峰，也非真正的谷。往一个方向走你爬高，往另一个方向走你下降。

形式上，鞍点是梯度消失（故为驻点）但黑塞矩阵不定、同时具有正负特征值的点。最干净的例子是 f(x, y) = x^2 - y^2 在原点：沿 x 轴值像 x^2 一样上升，沿 y 轴像 -y^2 一样下降。这个交汇点到一阶是平的，却不稳定——它是个会让小球滚走的平衡点。在二元情形，二阶判别式 D = f_xx f_yy - (f_xy)^2 为负就是它的标记。

鞍点之所以重要，恰恰因为它伪装成最优点。令梯度为零会把它和真正的极大、极小一并找出，这正是为什么分类这一步不可或缺。它在渐近积分的鞍点法、相变理论、博弈论（极小极大平衡就是收益的鞍点）中居于核心，而在深度学习中尤其臭名昭著：大型网络的损失地形布满鞍点，比起局部极小，它们反而更常使朴素的梯度下降停滞不前。