多元优化

驻点(stationary point)

在一维曲线上,平坦处——切线水平的地方——是极大或极小唯一可能藏身之处。多元函数的驻点正是这一思想的多元回声:在该点曲面在每个方向上都瞬时持平,因而无论你往哪个方向迈出极小一步,高度到一阶都不变。

精确地说,当梯度在某内部点消失时,该点就是驻点:grad f = 0,也就是所有偏导数 df/dx, df/dy, ... 同时为零。曲面的切平面是水平的。等价地,f 在该点附近的最佳线性逼近没有斜率。驻点有三种:局部极大、局部极小和鞍点,而单凭梯度条件无法把它们区分开来;这项工作属于二阶导数判别法和黑塞矩阵。

驻点是任何无约束优化都必须首先找到的候选点。在物理中,它们是势能的平衡点:小球停在势能持平之处。在统计中,极大似然估计落在对数似然的驻点上。一个值得记住的微妙之处:函数也可能在梯度不存在的点(尖角)或在定义域边界上取得极值——所以寻找驻点只覆盖光滑内部,其余情形必须另作补充。

对 f(x, y) = x^3 - 3x + y^2,梯度为 (3x^2 - 3, 2y)。令其为零得 y = 0 且 x = +1 或 x = -1,故有两个驻点:(1, 0) 和 (-1, 0)。只有二阶导数判别法才揭示出 (1, 0) 是局部极小、(-1, 0) 是鞍点。

求解 grad f = 0 列出所有候选点;对它们分类则是单独的二阶步骤。

驻点与极值点不是同义词:每个光滑内部极值点都是驻点,但一般函数的大多数驻点是鞍点,而非极值点。

又称
critical point临界点臨界點