神经网络

人工神经元(artificial neuron)

/ ar-tuh-FISH-ul NOOR-on /

人工神经元,是搭建神经网络的那个最小的「拿主意的小单元」。想象一位选民在投赞成或反对票前,要掂量几条新闻:每条新闻对他的分量有轻有重,他本人也偏向某一边,把所有东西加在一起后才下决定。人工神经元对数字做的正是这件事。它接收几个输入,给每个输入打一个表示重要程度的分数,叫做权重,把它们全部加起来,再加上一个固定的「推一把」的量,叫做偏置,最后让这个总和穿过一个小小的「整形」函数,得出一个输出数字。

说得更精确些:如果输入是一些数字,每个数字配一个权重,神经元先算出加权和(输入乘以权重,全部相加),加上偏置,再把这个单一的数字喂进一个激活函数。激活函数让神经元不只会做单纯的算术——它可以把结果压进某个范围,或者在结果为负时把它清零。这个输出随后成为下一层神经元的输入。整台机器就这么简单:一个加权和,加一个偏置,过一个函数。

这个想法粗略地受到脑细胞的启发——脑细胞在收到足够信号时会「放电」——但这种相似只是一个比喻,而非复制。真正的神经元要复杂得惊人。人工神经元之所以强大,靠的并不是任何单个神经元(单个神经元只能画一条笔直的分界线),而是把成千上万乃至上百万个连在一起,让整个网络能够表达丰富的、弯曲的模式。孤身一个,神经元几乎微不足道;聚成一群,它们就成了灵活的学习者。

一个决定是否推荐某部电影的神经元,看到两个输入:「是喜剧吗?」(1)和「超过两小时吗?」(1)。它给喜剧打权重 +2,给时长打权重 -1,再加上偏置 -0.5。加权和是 (1×2) + (1×-1) + (-0.5) = 0.5。一个 ReLU 激活函数会把任何正数原样放过,于是神经元输出 0.5——一个轻微的赞成。

一个神经元:给每个输入加权,相加,加偏置,再过一个激活函数。

单个神经元只能用一条直线(或一个平面)来分割数据。它的全部威力都来自与众多同伴的层叠和组合——也来自激活函数;没有激活函数,整张神经元的网络都会塌缩回一条直线。

又称
unitnodeneuron人工神经元人工神經元节点单元