偏導數（partial derivative）

大多數有意思的事情，都同時依賴好幾個輸入。一塊蛋糕好不好吃，取決於糖、烘焙時間和烤箱溫度三者的合力。偏導數只把其中一個旋鈕單拎出來，它問的是：「如果我只改糖，把烘焙時間和溫度都紋絲不動地按住，好吃程度會變得多快？」你凍住除一個變量之外的一切，再沿那唯一的方向去量普通的斜率。

它用一個彎彎的符號（∂）來寫，提醒你還有別的變量潛伏著、只是被按住不動。因此，一個多輸入的函數會有許多個偏導數——每個輸入對應一個。把它們全收進一張表裡，你就得到梯度，那個指向「上升最陡方向」的向量。所以梯度無非就是把所有偏導數並排碼在一起。

這是訓練神經網路的家常便飯。一個現代模型有成百萬乃至上十億個內部數字，而學習，就是針對每一個數字分別去問：「如果我只推動這一個數字，總誤差會怎麼變？」每個答案，都是一個偏導數。反向傳播則是一套巧妙的記帳法，能在一趟掃描裡把它們全部高效算出。一句實話：偏導數是故意無視各變量在真實世界裡可能如何聯動的；它回答的是一個嚴格「其它一切不變」的問題——而它之所以強大，恰恰因為它問得這麼窄。