大偏差理論

大偏差上界與下界(large-deviation upper and lower bounds)

大偏差原理不是單一等式,而是一對相匹配的不等式,理解為何必須這樣拆分是整個主題的概念關鍵。機率的指數速率由集合內成本最低(速率最低)的結果所主宰,但集合邊界是否計入則取決於集合是開還是閉——兩者可能給出不同答案。因此原理被陳述為閉集的上界與開集的下界。

上界說:對每個閉集 F,limsup (1/n) log mu_n(F) <= - inf_{x in F} I(x)。直觀上,落入 F 的機率不可能大於 e 的負 n 乘以 F 中成本最低點的成本;閉集的要求正是讓你能控制邊界。下界說:對每個開集 G,liminf (1/n) log mu_n(G) >= - inf_{x in G} I(x)。此處開性讓你有空間在近最優點周圍找到一個小鄰域並對其機率取下界。當集合 A 在其內部上的 inf I 等於在其閉包上的 inf I(I-連續集)時,兩個界都塌縮為真正的極限,你可寫 lim (1/n) log mu_n(A) = - inf_{x in A} I(x)。

這兩半由實質上不同的技術證明,且通常一半比另一半難。緊集上的上界通常來自 Chebyshev 式的指數 Markov 不等式,對傾斜參數最佳化,再透過指數緊性延拓到閉集;下界則來自指數測度變換(傾斜),使目標偏差變得典型,之後普通的大數法則便能完成工作。忘記上界需要閉性(或緊性加上緊性條件)而下界需要開性,是錯誤大偏差陳述最常見的來源。

考慮單點集 {x_0}(閉)與其開鄰域。閉點 {x_0} 上的上界給出 <= -I(x_0);但閉點上的下界無用,因為 {x_0} 內部為空。要得到相匹配的下界,你必須使用開球 B(x_0, r),且只有之後才讓 r -> 0,並利用 I 的下半連續性。

閉集上的上界、開集上的下界——它們只在連續集上相遇。

兩個界不必對每個集合相符:若 inf_內部 I > inf_閉包 I(非連續集),(1/n) log mu_n(A) 的極限可能不存在或嚴格介於兩者之間。大偏差原理只在 I-連續集上保證真正的極限。

又称
LDP upper boundLDP lower boundLaplace-Varadhan bounds