神經網路
權重（weight）
/ wayt /
權重，是一個表示「某個輸入有多重要」的數字。想想你要不要去爬山：天氣也許很要緊，有沒有空閒時間次之，而你鞋子的牌子幾乎無關緊要。這些因素各自在你心裡有一個分量，你的決定其實是一場加權投票。在神經網路裡，神經元之間的每一條連接都恰好帶著這樣一個數字。一個大的正權重意味著「這個輸入一強，就把輸出往上推」；一個大的負權重意味著「往下壓」；接近零的權重則意味著「基本上無視這個輸入」。
權重正是網路真正學到的東西。當人們說某個模型有「1750 億個參數」時，這些參數裡絕大多數都是權重。它們一開始是些細小的隨機數字——網路一無所知——而在訓練過程中，一套演算法會一次又一次地把每個權重往上或往下微調，讓網路的輸出漸漸靠近正確答案。在神經網路裡，所謂學習，幾乎就完全是對這數以百萬計的旋鈕緩慢地擰動。
把權重和它的兩個鄰居分開會很有幫助。權重是給輸入縮放的；偏置則是最後額外加上的、獨立於任何輸入的一個數字。權重也不同於激活值：權重是網路學到並保存下來的固定設置，而激活值是當你餵進某個具體例子時，臨時流過的數值。權重是菜譜；激活值是今晚這一道菜。
一個垃圾郵件過濾器學到：「威而鋼」這個詞的權重應當是強正的（把判斷推向「垃圾」），而「會議」一詞的權重應當是負的（把判斷推向「非垃圾」）。那些它學會忽略的詞，比如「的」，最終權重接近零。這個過濾器從沒見過任何人手寫的規則——它是從帶標註的例子裡發現這些權重的。
權重編碼了學到的重要程度：強正、強負，或接近零（忽略）。
權重是學到並存下來的；激活值則是對每個輸入現算的。把兩者搞混是初學者最常見的錯誤之一——記住：無論你餵給網路的是貓的照片還是狗的照片，權重都保持不變。
又稱
另見