熵（entropy）
/ EN-truh-pee /
熵衡量的是一种局面平均而言有多不确定、有多令人意外。一枚你早已知道会落正面的硬币，熵为零——毫无悬念，也无从学到任何东西。一枚公平的硬币，熵更大些，因为正反两面都算得上真正的意外。一颗公平的骰子，熵还要更大。一句话：熵是「结果揭晓之前，你平均该预料到多少意外」，而各种可能性铺得越均匀，它就攀得越高。
信息论把这件事说得精确，并用「比特」来量。一个比特，恰好就是一次公平抛币的不确定量——一个精心挑选的「是/否」问题的答案。在四件等可能的事中作选择，携带两个比特；八件，三个比特。罕见而出人意料的结果，比常见而意料之中的结果携带更多信息——这正是为什么告诉别人「今天太阳升起来了」几乎什么都没传达，而「沙漠里下雪了」却传达了一大堆。
克劳德·香农在 1948 年引入了熵，开创了整个信息论领域，而它也悄悄垫在全部数字生活的底下。熵给出了「一个文件在不损失任何东西的前提下能压缩到多小」的硬下限——你挤不掉那些确实存在的不确定。在机器学习里，它是交叉熵与 KL 散度背后的母概念，而这两者正是训练大多数分类器的损失函数。有一个常见的混淆值得澄清：信息论里的这个熵，与物理学里的熵是表亲，而非孪生兄弟；它们共享深厚的数学根基，回答的却是不同的问题。
想象猜明天的天气。在一个一百天里有九十九天放晴的地方，天气预报几乎毫无意外可言——熵很低；你简直不必去问。而在一个晴、雨、阴、雪四样均分的地方，每一天都是一场货真价实的四选一——熵很高，足足有两个比特的不确定要去厘清。
几乎笃定的天气几乎不带熵；一场真正的四选一带的熵最多——不确定铺得越均匀，不确定就越大。
当各种结果等可能时，熵达到最大；当某个结果确定无疑时，熵降为零——它给一种局面的不确定性打分，而非给某样东西看上去有多「乱」打分。香农 1948 年的论文为它命了名，也开启了数字时代。