无约束优化（unconstrained optimization）

想象一片由山丘和谷地构成的地貌，每一点 (x, y) 处的高度由函数 f 给出。无约束优化就是要找出这片曲面的最高峰和最低谷，而你可以自由地站在任何地方——没有围栏，没有必须沿着走的曲线，也没有必须遵守的预算。变量可以在整个空间（或某个开区域）里游走，你只需问 f 在哪里最大、在哪里最小。

关键工具是梯度，即偏导数构成的向量 (df/dx, df/dy, ...)。在光滑的内部峰或谷处，曲面局部是平的，于是每个偏导数都为零：梯度消失。求解 grad f = 0 找出候选点，称为驻点或临界点。要进一步判断某候选点是极大、极小还是两者皆非，就看汇集二阶导数的黑塞矩阵，检验它的定性——这正是一元二阶导数判别法的多元版本。

这种优化支撑着曲线拟合、统计中的极大似然估计、物理与化学中的能量最小化，以及机器学习模型的训练。一个诚实的提醒：grad f = 0 只能定位内部驻点。真正的全局最优可能落在区域的边界上，或跑向无穷，或者当 f 无界时根本不存在。令梯度为零是内部最优的必要条件，但并不足以保证最优存在。