作為遍歷定理的強大數法則(strong law as an ergodic theorem)
本條目是第一卷與遍歷理論之間的橋樑:它表明獨立同分布序列的強大數法則正是伯克霍夫定理最簡單的特例。重點不在為證明而證明,而在認識到強大數法則遠非獨立性所特有,而是適用於平穩相依資料之更廣闊均值定律的表面。
對照詞典如下。設 (X_1, X_2, ...) 獨立同分布且 E|X_1| < infinity。在序列空間 Omega = R^N 上以乘積律 P = (X_1 之律)^(otimes N) 實現它們,令 T 為位移 (T omega)_n = omega_(n+1),f(omega) = omega_1 為首座標函數。則 X_k = f(T^(k-1) omega),故樣本均值 (1/n) sum X_k 恰為伯克霍夫時間平均 (1/n) sum f(T^k omega)。位移保測(乘積測度位移不變——這正是平穩性)且遍歷(柯爾莫哥洛夫 0-1 律使不變 sigma-代數平凡)。故伯克霍夫給出 (1/n) sum X_k -> E[ f given I ] = E[X_1] 幾乎必然。這就是強大數法則。
回報是一般性。把「獨立同分布」換成「平穩且遍歷」,同一論證即給出平穩過程的遍歷定理:對任何平穩遍歷序列且 E|X_1| < infinity,儘管 X_k 相依,樣本平均仍幾乎必然收斂到 E[X_1]。這是時間序列估計量相合性、馬可夫鏈蒙地卡羅(處於平衡的遍歷鏈服從強大數法則)與資訊理論(夏農-麥克米倫-布雷曼定理)背後的主力。誠實的警告:遍歷性是關鍵。平穩但非遍歷的序列其平均仍收斂,但極限是隨機的 E[ X_1 given I ]——例如先抽一次硬幣偏度再永遠擲下去:平均收斂到那個隨機偏度,而非其總體均值。
處於平穩分布 pi 的平穩遍歷馬可夫鏈 (X_n),對任何 pi-均值有限的 g 皆有 (1/n) sum_(k<n) g(X_k) -> sum_x pi(x) g(x) 幾乎必然。這是相依資料的強大數法則,也是用單一長 MCMC 運行做時間平均而非取多個獨立樣本的依據。
產生獨立同分布強大數法則的同一遍歷定理骨架,也產生平穩相依資料的大數法則。
獨立性是奢侈品而非必需品:強大數法則只需平穩性 + 遍歷性 + 可積性。去掉遍歷性,平均仍收斂,但收斂到隨機極限而非均值。