弱大數法則(the weak law of large numbers)
人人都有「平均會安定下來」的直覺:擲硬幣一千次,正面比例很可能接近一半。弱大數法則正是這份直覺的精確版本。它說:從同一分布獨立抽取許多次,其樣本平均很可能坐在真均值附近——而你抽得越多,那個機率就爬得越高。
精確地說:若 X_1, X_2, ... 獨立同分布且均值 mu 有限,並令滾動平均 X-bar_n = (X_1 + ... + X_n)/n,則 X-bar_n 依機率收斂到 mu。展開來看:對任何容忍度 epsilon,當 n 增大時 P(|X-bar_n - mu| > epsilon) 趨近 0。在變異數 sigma^2 有限時有個乾淨的證明用到柴比雪夫不等式:Var(X-bar_n) = sigma^2/n,於是界 P(|X-bar_n - mu| > epsilon) <= sigma^2/(n epsilon^2) 顯然趨於 0。(完整定理只需均值有限,但這個版本讓機制現形。)
兩個誠實的澄清。第一,「弱」指的是收斂的「模式」(依機率),而非結論的強度——強大數法則把同一陳述升級為幾乎必然收斂。第二,這個法則講的是「平均」收斂,不是和「拉平」。連續開出正面後,硬幣並沒有「該」輪到反面了;那是賭徒謬誤。平均之所以漂向一半,不是因為過去的結果被糾正,而是因為它們被一堆不斷增長、毫不在意的新試驗稀釋了。
擲一顆公正骰子 n 次並平均其點數;真均值是 3.5。當 n = 100,Var(X-bar) = (35/12)/100 ≈ 0.029,所以平均很可能落在 3.5 上下約 0.3 之內。當 n = 10000,這個散布縮為十分之一——平均緊縮在 3.5 周圍,正如弱大數法則所承諾。
樣本平均隨 n 增大而集中在真均值周圍;散布以 sigma^2/n 的方式縮小。
這個法則講的是平均,不是和拉平——硬幣永遠不會「該」輪到誰。「弱」是在命名收斂模式(依機率),不是說結論軟弱。