稀疏编码

稀疏编码是大脑的一种习惯：在描述它感知到的每一样东西时，只让一小撮神经元忙碌起来，而几乎其余所有神经元都保持安静。可以把它想象成体育场里一大群观众举着彩色卡片：每发生一件事，并不是所有人都翻动手中的卡片，而是只有几十个人会为某一张脸、某一种声音或某一种气味亮起来——下一件事则换成另一小群人亮起来。正因为同一时刻活跃的人极少，被点亮的那个小小图案就成了大脑刚刚所经历之事的一张干净而独特的'名牌'。

为什么要让大多数神经元保持沉默呢？因为这样既省力又清晰。让一个神经元放电是要耗能的，所以同一时刻只让少数几个放电就能省下燃料——整个大脑差不多只靠一只昏暗灯泡的功率运转。这样做还让信号容易区分：当各个图案几乎不重叠时，两种相似的气味或两张相似的脸就不会被糊在一起，后面的细胞只需读出'是哪几个亮着'，几乎不会混淆。研究者在真实大脑中确实看到了这一点——例如在视觉皮层，以及在果蝇和小鼠大脑中负责辨别气味的区域；机器学习也借用了同一思路，让模型尽量用最少的活跃特征去解释数据。