梯度

站在山坡上问：哪个方向上山最陡？有多陡？梯度同时回答这两点。它是单独一支箭头，指向函数增长最快的方向，其长度就是在这个最佳方向上的增长率。其余每个方向的爬升都更小，取决于它与梯度的对齐程度。

对标量函数 f: R^n -> R，在 a 处的梯度是其偏导数构成的向量 grad f(a) = (df/dx_1, ..., df/dx_n)。当 f 可微时，沿单位方向 u 的方向导数等于点积 grad f(a) . u。由柯西–施瓦茨不等式，此点积在 u 与 grad f(a) 同向时最大，证实了最速上升的解释。

梯度垂直于等值集：在 grad f 非零的点，它是过该点的等值面的法向量，因为沿等值集移动使 f 保持不变，方向导数在那里为零。一点告诫：梯度真正成为向量，需先选定一个内积；不依赖坐标的对象是全导数（一个线性泛函），而梯度是它在点积下的代表元。