詹森不等式（Jensen's inequality）
/ YEN-sen /
這是一個微妙卻影響深遠的事實：先平均再彎折一個值，並不等於先彎折每個值再平均。順序有關係，而詹森不等式精確地說出哪個順序給出較大的答案，取決於彎折的函數是向上彎還是向下彎。它是支配 E[g(X)] 與 g(E[X]) 之間差距的規則。
若一個函數像碗或 U 一樣向上鼓（想想 g(x) = x^2 或 e^x），使其圖形上任兩點間所連的弦都在曲線之上，就稱它凸。對凸的 g，詹森不等式說 E[g(X)] >= g(E[X])：先套函數再平均，至少等於先平均。對凹函數（像圓頂一樣向下鼓，例如 log x 或 sqrt(x)），不等式翻轉：E[g(X)] <= g(E[X])。直覺就是那張弦圖——把輸入散開（這正是隨機性所做的）會把凸函數的平均往上推，因為曲線垂在它的弦之下。唯有 X 實質上是常數，或 g 是一條直線（這就是為什麼期望值的線性性沒有差距）時才取等號。
這一個不等式無處不在。它就是為什麼 Var(X) = E[X^2] - (E[X])^2 絕不為負（取凸的 g(x) = x^2）。它驅動算術-幾何平均不等式，是熵與資訊界限的基礎，並解釋實務上的陷阱：因為平方根是凹的，平方根的平均至多等於平均的平方根——所以天真地先平均再變換可能系統性地偏誤一個估計。每當你用一個彎曲的函數去變換一個隨機量，詹森就警告你 E[g(X)] 與 g(E[X]) 一般不同，並告訴你往哪一邊。
令 X 等機率為 1 或 9，故 E[X] = 5。平方是凸的：E[X^2] = (1 + 81)/2 = 41，而 (E[X])^2 = 25，果然 41 >= 25。平方根是凹的：E[sqrt(X)] = (1 + 3)/2 = 2，而 sqrt(E[X]) = sqrt(5) ≈ 2.236，果然 2 <= 2.236。
凸的 g：E[g(X)] >= g(E[X])。凹的 g：不等式翻轉。
方向完全取決於凸或凹，唯有線性的 g 或常數 X 才取等號。把 E[g(X)] 與 g(E[X]) 混淆是個經典錯誤，詹森不等式正是為糾正它而存在。