大偏差理論

指數測度變換(exponential change of measure)

指數測度變換——又稱指數傾斜、Cramer 變換或 Esscher 變換——是大偏差中最重要的單一技術,是大偏差原理下界與罕見事件機率實際計算背後的引擎。其想法簡單得驚人:罕見事件難以研究,因為在真實分布下它幾乎從不發生,那就改換機率分布到一個傾斜分布,使該罕見事件在其下變得典型,在那裡做一個簡單的大數法則計算,再以一個明確的 Radon-Nikodym 因子為測度變換付費。

給定分布 mu 與參數 theta,傾斜(指數變換)測度為 dmu_theta 正比於 e^(theta X) dmu,歸一化常數為動差母函數:dmu_theta/dmu = e^(theta X) / M(theta),M(theta) = E[e^(theta X)]。在 mu_theta 下 X 的平均移至導數 (log M)'(theta),因此選 theta 解 (log M)'(theta) = x,便使所欲偏差 x 成為新的典型值。傾斜分布相對於 mu 的相對熵恰為 Cramer 速率函數:H(mu_theta | mu) = I(x),故速率函數字面上就是最佳測度變換的成本。對大偏差原理下界,你把罕見集的機率寫成 mu_theta 下逆似然比的期望,似然比貢獻 e^(-n I(x)) 因子,而 mu_theta 下的普通大數法則供給其餘部分。

在證明之外,指數傾斜是罕見事件模擬之重要性抽樣的基礎:天真地用蒙地卡羅估計 P(罕見) 需要指數多的樣本,但在最佳傾斜分布下抽樣並重新加權,可給出具有有界相對誤差的無偏估計量。同一構造在連續時間中即吉爾薩諾夫定理(隨機指數是路徑空間的傾斜)、在統計力學中即 Gibbs/Boltzmann 測度(在逆溫 beta 下按能量傾斜)、在精算與金融定價中即 Esscher 變換。告誡是:最佳傾斜僅在動差母函數有限且陡峭之處存在;對重尾,沒有有限的 theta 能使偏差變得典型,傾斜失敗,罕見事件改由單一大跳躍實現。

要以模擬估計 P(n 個 Exp(1) 變數的平均 > 2),天真的蒙地卡羅浪費幾乎所有樣本。傾斜到 Exp(速率 1/2)(即平均為 2 的 theta = 1/2 傾斜),在那裡抽樣,再以似然比重新加權。此估計量以有界相對誤差集中,且領頭指數速率 e^(-n(2 - 1 - log 2)) 與 Cramer 完全相符。

傾斜使罕見事件變典型;以似然比付費。

傾斜 mu_theta 必須對 mu 絕對連續(反之亦然),且最佳 theta 僅在動差母函數有限之處存在。對重尾分布沒有指數傾斜可行;此時正確的重要性抽樣測度變換是冪律/大跳躍構造,而非指數構造。

又称
exponential tiltingCramer transformEsscher transformtilted measure傾斜測度