神經網路

人工神經元(artificial neuron)

/ ar-tuh-FISH-ul NOOR-on /

人工神經元,是搭建神經網路的那個最小的「拿主意的小單元」。想像一位選民在投贊成或反對票前,要掂量幾條新聞:每條新聞對他的分量有輕有重,他本人也偏向某一邊,把所有東西加在一起後才下決定。人工神經元對數字做的正是這件事。它接收幾個輸入,給每個輸入打一個表示重要程度的分數,叫做權重,把它們全部加起來,再加上一個固定的「推一把」的量,叫做偏置,最後讓這個總和穿過一個小小的「整形」函數,得出一個輸出數字。

說得更精確些:如果輸入是一些數字,每個數字配一個權重,神經元先算出加權和(輸入乘以權重,全部相加),加上偏置,再把這個單一的數字餵進一個激活函數。激活函數讓神經元不只會做單純的算術——它可以把結果壓進某個範圍,或者在結果為負時把它清零。這個輸出隨後成為下一層神經元的輸入。整台機器就這麼簡單:一個加權和,加一個偏置,過一個函數。

這個想法粗略地受到腦細胞的啟發——腦細胞在收到足夠信號時會「放電」——但這種相似只是一個比喻,而非複製。真正的神經元要複雜得驚人。人工神經元之所以強大,靠的並不是任何單個神經元(單個神經元只能畫一條筆直的分界線),而是把成千上萬乃至上百萬個連在一起,讓整個網路能夠表達豐富的、彎曲的模式。孤身一個,神經元幾乎微不足道;聚成一群,它們就成了靈活的學習者。

一個決定是否推薦某部電影的神經元,看到兩個輸入:「是喜劇嗎?」(1)和「超過兩小時嗎?」(1)。它給喜劇打權重 +2,給時長打權重 -1,再加上偏置 -0.5。加權和是 (1×2) + (1×-1) + (-0.5) = 0.5。一個 ReLU 激活函數會把任何正數原樣放過,於是神經元輸出 0.5——一個輕微的贊成。

一個神經元:給每個輸入加權,相加,加偏置,再過一個激活函數。

單個神經元只能用一條直線(或一個平面)來分割資料。它的全部威力都來自與眾多同伴的層疊和組合——也來自激活函數;沒有激活函數,整張神經元的網路都會塌縮回一條直線。

又稱
unitnodeneuron人工神经元人工神經元节点单元