詹森不等式（Jensen's inequality）
/ YEN-sen /
這裡有一個答案出奇普遍的問題：如果你先把一些數平均、再平方，會跟先平方、再平均得到一樣的結果嗎？試試 1 和 3。先平均再平方：(2)^2 = 4。先平方再平均：(1 + 9)/2 = 5。兩者不同，而且後者較大。詹森不等式精確地說明「先平均再變換」與「先變換再平均」在什麼時候、朝哪個方向不一致。
關鍵字是凸（convex）：圖形向上彎曲的函數，曲線會落在連接它上面任兩點的弦（線段）之下——平方、指數函數、以及 -log 都是凸函數的例子。詹森不等式說，對凸函數 g，有 g(E[X]) <= E[g(X)]。從幾何上看：g 在平均輸入處的值，落在 g 各值之平均的下方，因為曲線陷在它的弦之下。對凹函數（向下彎曲，如 log 或平方根）則不等號反向：g(E[X]) >= E[g(X)]。一個方便的口訣是「均值的凸函數，至多等於函數的均值」。
光是這條事實就驅動了大量數學。它立刻證明 E[X^2] >= (E[X])^2，這就是變異數非負的原因。它給出算術平均-幾何平均不等式（透過凹的 log）。在資訊理論裡，它支撐了 KL 散度的非負性與熵的界。誠實的提醒：方向完全取決於凸還是凹，而等號只在 g 於 X 的取值範圍上為線性、或 X 為常數時成立——否則差距是嚴格的，是你交換平均與變換次序時所犯下的、真實且可量化的誤差。
一項投資以相等的機率讓你的錢翻倍或砍半。最終倍數平均為 E[X] = (2 + 0.5)/2 = 1.25，看似有賺。但成長以 log 複利，而 log 是凹的，所以詹森給出 E[log X] <= log E[X]：典型的複利結果 E[log X] = (log 2 + log 0.5)/2 = 0——你平均而言其實原地踏步。
平均與變換不可交換：凸曲線落在它的弦之下，凹曲線在弦之上。
常見陷阱：人們以為 g(E[X]) = E[g(X)]。這只在 g 為線性時成立。對任何真正彎曲的 g，兩者都不同，而那個差距正是詹森所界定的。