馬可夫鏈的遍歷定理（ergodic theorem for Markov chains）

問「多常是晴天？」有兩種自然的方式。一是盯著單一的長歷史，數出晴天日子的比例 —— 沿一條路徑的時間平均。另一是看平衡分布，讀出晴天的平穩機率 —— 跨狀態的空間平均。遍歷定理說，這兩者給出「相同」的答案：單一的長期運行就能揭示平衡。

嚴格地說，對一條不可約且正常返的鏈，長期停留在狀態 i 的時間比例收斂到 pi(i)，即平穩機率 —— 更一般地，狀態的任何函數 f 的時間平均，(1/n) 乘上 f(X_0) + ... + f(X_(n-1)) 之和，收斂到它的平穩期望，即對各狀態加總 pi(i) f(i)。這幾乎必然成立，對幾乎每一條個別軌跡都成立，而不只是平均上成立。一條夠長的樣本路徑，在統計上就代表了整條鏈。

這是相依的、鏈相關資料版本的大數法則，也正是它讓模擬成為合法的。你無法把一條鏈跑無窮多次，但你可以把它跑一次、跑很久、再取平均 —— 馬可夫鏈蒙地卡羅完全仰賴這項保證：打造一條平穩分布即你目標的鏈，跑它，再用時間平均去估計你想要的任何量。美妙的是，遍歷定理只需要不可約與正常返 ——「不」需要非週期 —— 所以即使是永不逐點收斂的週期鏈，仍然擁有誠實的長期時間平均。