蒙地卡羅法與隨機化方法

重要性取樣(importance sampling)

假設你要用隨機模擬估計一場罕見災難的機率——百年一遇的洪水。若均勻地對年份取樣,你得每一百年才等到一次災難,幾乎學不到東西;關鍵藏在空間的一個小角落裡。重要性取樣解決這點:在「重要的地方」多取樣,再用一個權重修正偏差,使你把樣本花在被積函數大的地方,而不是浪費在它幾乎為零之處。

就機制而言,你想要 f 在均勻(或原始)測度下的平均,但你改從一個選定的、集中在 f 大的地方的「提議」密度 p 抽點。為了保持無偏,你給每個樣本一個權重,等於它「本該出現的可能性」與「實際出現的可能性」之比:估計量變成 f(x_i) / p(x_i) 對從 p 抽出的點 x_i 的平均(把積分寫成 integral [f(x)/p(x)] * p(x) dx)。權重 f/p 恰好抵消過度取樣,所以平均仍收斂到真積分。這個估計量的變異數取決於 p 與 f 形狀的契合程度:理想的 p 與 |f| 本身成正比,那會使每個加權樣本都相同、變異數為零——實務上達不到,但它告訴你該瞄準什麼。

做得好,重要性取樣能把變異數削減數個數量級,是罕見事件估計、粒子物理與貝氏計算的標準工具。做得差,它很危險,這是關鍵的誠實之處。若提議 p 太窄、在 f 仍可觀的地方尾部太薄,一個罕見樣本落在 p 極小之處就會拿到「巨大」的權重 f/p,產生狂野的尖刺——變異數可能變得極大甚至無限,而估計值看似穩定到具有欺騙性,直到一個災難性樣本把它炸開。經驗法則是:讓 p 的尾部比目標更厚,絕不更薄,並留意權重分布中是否有少數幾個獨大。

要估計標準常態 Z 的微小機率 P(Z > 5),均勻或直接取樣幾乎從不產生超過 5 的樣本,於是你學不到東西。改從一個平移到平均 5 的常態取樣,那裡這種值很常見,再用密度比為每個抽樣加權。如此幾乎每個樣本都有資訊,估計便快速收斂。

在有戲的地方取樣,再用 f/p 重新加權以維持無偏。

尾部比目標薄的提議是經典陷阱:罕見抽樣會拿到巨大權重,變異數可能爆成無限,而運行中的估計卻看似平靜得令人誤判。請讓提議尾部更厚,並監看權重是否有少數幾個獨大。

又称
weighted samplingISimportance-weighted estimation重要性抽樣加權取樣