大偏差理論

大偏差原理(large deviation principle)

大偏差原理是大偏差理論的核心組織性陳述。大數法則告訴你經驗平均會集中在期望值上,中央極限定理則描述在該值附近大小為 1/sqrt(n) 的高斯型波動。但兩者都未對真正罕見的事件給出定量說明——n 個獨立同分布變數的經驗平均落在離其平均一段固定距離之外的機率,會隨 n 以指數速度衰減。大偏差原理正是捕捉此指數衰減並精確指出其速率的工具。

正式地說,拓樸空間 X 上的一族機率測度 (mu_n) 滿足以 I 為速率函數、速度為 n 的大偏差原理,意思是對每個 Borel 集 A,機率 mu_n(A) 大致以 e^(-n 在 A 上 I 的下確界) 衰減。由於在內部與閉包上取下確界可能不同,此陳述拆成兩半:對開集 G 的下界 mu_n(G) >= 約 e^(-n inf_{x in G} I(x)),以及對閉集 F 的上界 mu_n(F) <= 約 e^(-n inf_{x in F} I(x)),其中「約」指的是取 1/n 倍對數再取極限之後。速率函數 I 衡量每個結果 x 的指數成本;A 中成本最低的點主宰 A 的機率。

大偏差原理是正確的語言,因為它具有可組合性:它能通過連續映射傳遞(收縮原理),可由極限對數動差母函數讀出(Gartner-Ellis),並把加權指數積分化為最佳化問題(Varadhan)。速度不必是 n——它可以是任何趨於無窮的數列 a_n(例如 Schilder 定理在雜訊強度 1/sqrt(n) 下速度為 n/2)。人們必須始終指明 X 上的拓樸:同一數列可能在弱拓樸下滿足大偏差原理而在更強拓樸下失敗,因此空間的選擇是定理的一部分,而非細節。

擲一枚公平硬幣 n 次,令 S_n/n 為正面比例。大數法則說 S_n/n -> 1/2。大偏差原理將其精細化:P(S_n/n >= 3/4) 大致以 e^(-n I(3/4)) 衰減,其中 I(x) = x log(2x) + (1-x) log(2(1-x)),因此在 1000 次投擲中看到 75% 正面的機率小得驚人,約為 e^(-1000 * 0.13),而速率函數恰恰告訴你它有多小。

大偏差原理把「罕見」化為由速率函數設定的精確指數速率。

大偏差原理只給出指數速率(對數的領頭階),並不確定多項式前因子。P(S_n/n >= x) ~ C(x) n^(-1/2) e^(-n I(x)) 中的 C(x) 需要更精細的 Bahadur-Rao 分析才能得到。

又稱
LDPlarge deviations principle