Sanov 定理（Sanov's theorem）
/ SAH-nof /
Sanov 定理是經驗分布本身的大偏差原理，而不僅是經驗平均的。Cramer 問 n 個樣本的平均變得非典型有多麼不可能，Sanov 則問一個豐富得多的問題：n 個樣本的整個經驗直方圖看起來像某個非真實分布 mu 的所選分布 nu 有多麼不可能？這稱為第二層大偏差（Cramer 是第一層），其速率函數是機率與資訊理論中最重要的對象之一。
設 X_1, ..., X_n 為來自分布 mu 的獨立同分布樣本，令 L_n = (1/n) Sum delta_{X_i} 為經驗測度，一個隨機機率分布。Sanov 定理陳述 L_n 在機率測度空間上（弱拓樸，或精細版中的更強 tau 拓樸）滿足速度為 n、良好速率函數等於相對熵 I(nu) = H(nu | mu) = integral of log(dnu/dmu) dnu 的大偏差原理。換言之：n 個獨立同分布 mu 樣本的經驗測度近似於 nu 的機率大致以 e^(-n H(nu|mu)) 衰減。相對熵恰在 nu = mu 處唯一為零，重現 L_n 向 mu 的 Glivenko-Cantelli 收斂，並隨 nu 偏離 mu 而增長。
Sanov 是機率與資訊理論之間的橋樑，也是最大熵／Gibbs 條件化原理的來源。若你以 n 個獨立同分布樣本的經驗平均為非典型作條件，則條件經驗測度收斂至 I-投影：在所加約束下相對熵意義上最接近 mu 的分布，這恰是指數傾斜（Gibbs）測度。Cramer 定理可由 Sanov 透過收縮原理導出，將經驗測度沿平均泛函推送。需要小心的假設是拓樸：Sanov 一般在弱拓樸下成立，在額外可積性下於更細的 tau 拓樸下成立，但相對熵速率函數相同。
擲一顆公平骰子 n 次；真實分布 mu 在 {1,...,6} 上均勻。經驗頻率接近 nu = (1/2, 1/10, 1/10, 1/10, 1/10, 1/10) 的機率大致以 e^(-n H(nu|mu)) 衰減，其中 H(nu|mu) = Sum nu_i log(nu_i / (1/6)) = Sum nu_i log(6 nu_i)。成本最低的非均勻直方圖正如 Sanov 所預測地主宰。
Sanov：經驗分布以速率相對熵 H(nu|mu) 偏離。
相對熵 H(nu|mu) 只有當 nu 對 mu 絕對連續時才有限；若 nu 在 mu 無質量處放置質量，則 H = +無窮，正確地標示對 mu 樣本而言這樣的經驗測度是不可能的（而非僅指數罕見）。