偏置項（bias term）

偏置項，是在激活函數運行之前，加到神經元的總和上的一個常數「推力」。想像一台有基礎設定的恆溫器：即使沒有額外的熱量進來，它也有一個預設的傾向。偏置就是那個預設的傾向。沒有它，每當所有輸入恰好都是零時，神經元的輸出就總會是零——這會是一個奇怪而拖後腿的限制。偏置讓神經元能擁有自己的立場，不管輸入是什麼。

用數學說：神經元先算出（每個輸入乘以它的權重，全部相加），然後加上偏置。權重決定輸入對決策的扳動有多強；偏置決定一開始要把神經元「打開」是容易還是困難。一個大的正偏置讓神經元躍躍欲試；一個大的負偏置讓它扭扭捏捏。用直線的話來說，權重設定斜率，偏置設定直線在哪裡穿過——它們幹的確實是不同的活兒。

和權重一樣，偏置也是在訓練中學到、並作為模型的一部分存下來的，所以它也算在參數之內——只不過數量少得多（大致每個神經元一個，而權重是每條連接一個）。它是個小部件，但把它省掉會讓網路瘸腿：很多問題，沒有那個可調的偏移量，根本就解不出來。