混合與暖機(mixing and burn-in)
一條 MCMC 鏈是一個隨機漫步,要逐漸才安定下來、開始對正確的分布取樣。兩個實務問題決定它的輸出是否可信。其一,要多久它才忘掉起點、抵達目標分布?這段等待期是「暖機」(burn-in)。其二,一旦它在正確取樣,它漫遊過整個分布的速度有多快,而不是在一個地方磨蹭?這個速度就是「混合」(mixing)。兩者關乎同一個底層議題:樣本在時間上相關,而你必須理解這份相關,才能信任結果。
暖機是鏈的開頭那一段,你要「丟棄」它。你通常從某個任意點起步,那點可能落在低機率區域;早期樣本反映的是那個糟糕的起點而非目標,所以你丟掉前面一大塊(數百到數千步),只保留之後的。混合由「自相關」度量:一個樣本與它 k 步之前那個有多相像。混合良好的鏈很快去相關;積分自相關時間 tau 告訴你 N 個鏈步只值約 N / (2*tau) 個「獨立」樣本。這正是為何 MCMC 平均的誠實誤差棒約為 s * sqrt(2*tau / N),比天真的獨立樣本公式膨脹了 sqrt(2*tau) 倍——忽略 tau,你就會嚴重高估自己的精度。
差勁的混合是 MCMC 的核心陷阱,而且危險,因為它可能是「隱形」的。混合緩慢的鏈——提議步長太小,或目標多峰使漫步被困在一個峰、從不跨到另一個——會產生在局部看似沒問題、卻完全錯過分布一部分的樣本,給出自信而錯誤的答案。沒有完美的收斂檢驗;實務者使用診斷工具,如從不同起點跑多條鏈並檢查它們一致(Gelman-Rubin R-hat 統計量)、檢視軌跡圖有無趨勢、觀察自相關的衰減。直白的真相:你永遠無法「證明」一條 MCMC 鏈已收斂,只能找不到它尚未收斂的證據,所以健康的懷疑與數條獨立的鏈是必要的。
跑一條積分自相關時間 tau = 25 的鏈。則 100,000 個保存的步只值約 100,000 / 50 = 2,000 個獨立樣本,所以真實誤差棒比天真的寬 sqrt(50) = 7 倍。丟掉前 5,000 步當暖機,並每 25 步取一個來稀疏化,可得到大致不相關的抽樣。
丟掉暖機,再把有效樣本數算成 N / (2*tau),而非 N。
你永遠無法「證明」收斂——只能偵測不到不收斂。卡在多峰目標某一峰裡、混合緩慢的鏈,會給出局部看似沒問題、卻自信而錯誤的答案;務必從不同起點跑數條鏈並檢查它們一致。