熵（entropy）
/ EN-truh-pee /
熵衡量的是一種局面平均而言有多不確定、有多令人意外。一枚你早已知道會落正面的硬幣，熵為零——毫無懸念，也無從學到任何東西。一枚公平的硬幣，熵更大些，因為正反兩面都算得上真正的意外。一顆公平的骰子，熵還要更大。一句話：熵是「結果揭曉之前，你平均該預料到多少意外」，而各種可能性鋪得越均勻，它就攀得越高。
資訊理論把這件事說得精確，並用「位元」來量。一個位元，恰好就是一次公平拋幣的不確定量——一個精心挑選的「是/否」問題的答案。在四件等可能的事中作選擇，攜帶兩個位元；八件，三個位元。罕見而出人意料的結果，比常見而意料之中的結果攜帶更多資訊——這正是為什麼告訴別人「今天太陽升起來了」幾乎什麼都沒傳達，而「沙漠裡下雪了」卻傳達了一大堆。
克勞德·夏農在 1948 年引入了熵，開創了整個資訊理論領域，而它也悄悄墊在全部數位生活的底下。熵給出了「一個檔案在不損失任何東西的前提下能壓縮到多小」的硬下限——你擠不掉那些確實存在的不確定。在機器學習裡，它是交叉熵與 KL 散度背後的母概念，而這兩者正是訓練大多數分類器的損失函數。有一個常見的混淆值得澄清：資訊理論裡的這個熵，與物理學裡的熵是表親，而非孿生兄弟；它們共享深厚的數學根基，回答的卻是不同的問題。
想像猜明天的天氣。在一個一百天裡有九十九天放晴的地方，天氣預報幾乎毫無意外可言——熵很低；你簡直不必去問。而在一個晴、雨、陰、雪四樣均分的地方，每一天都是一場貨真價實的四選一——熵很高，足足有兩個位元的不確定要去釐清。
幾乎篤定的天氣幾乎不帶熵；一場真正的四選一帶的熵最多——不確定鋪得越均勻，不確定就越大。
當各種結果等可能時，熵達到最大；當某個結果確定無疑時，熵降為零——它給一種局面的不確定性打分，而非給某樣東西看上去有多「亂」打分。夏農 1948 年的論文為它命了名，也開啟了數位時代。