梯度即最速上升方向（gradient as steepest ascent）

站在山坡上任何地方問一句：哪個方向上坡最猛？不只是向上，而是那唯一最陡的方向，且有多陡？梯度一次回答這兩點。它是分量為各偏導數的向量，grad f = (partial f / partial x, partial f / partial y, ...)，在每一點都指向 f 增長最快的方向，其長度等於這個最快的攀升速率。

原因在於方向導數公式。f 沿單位方向 u 的變化率是 grad f 點乘 u，它等於 |grad f| 乘以 u 與 grad f 之間夾角的餘弦。當夾角為零時——即 u 沿 grad f 本身——這個點積最大，其最大值恰為 |grad f|。所以梯度方向是最速上升方向，它的模長是最陡的斜率，反方向（負 grad f）是最速下降方向，而任何垂直於 grad f 的方向都給出零變化（你正沿一條等值線行走）。在 grad f = 0 之處根本沒有上坡：那是臨界點。

這一個事實驅動著地球上最常用的優化算法。梯度下降反復沿負 grad f 方向邁步，以滑下山坡奔向極小值——訓練神經網絡、擬合模型、求解最小二乘。在物理中勢的負梯度就是力（在勢能面上重力指向下坡），溫度的負梯度驅動熱流。請留意一個誠實的局限：梯度給出最佳的局部方向，而非全局路線——它可能徑直把你帶進附近的一個局部極小值就停下。