測度集中(concentration of measure)
把夠多的獨立事物平均起來,一件近乎奇蹟的事就會發生:結果幾乎不變動。擲一枚公正硬幣十次,正面數到處亂跑;擲一千萬次,正面的比例就以驚人的可靠度黏在二分之一上。這個現象——許多獨立貢獻的函數極大可能坐落在它的均值非常近處——就叫測度集中。它正是隨機性在整體上變得可預測的深層原因。
具體地說,n 個獨立項之平均的散布會縮小:它的標準差像 1 / sqrt(n) 那樣下降,而(在有界或輕尾的條件下)即使偏離一個固定量的機率也隨 n 呈指數下降。使這件事精確的那一群定理——馬可夫、柴比雪夫、柴諾夫、霍夫丁、伯恩斯坦、阿祖瑪、McDiarmid——就是「集中不等式」。它們全都以逐步加精的精確度表達同一個訊息:一個高維隨機物件、或許多小的獨立片段之總和,會緊貼它的期望值,而出現有意義偏離的機率微乎其微。更深的現代形式注意到:高維空間上任何性質良好的(Lipschitz)函數都幾乎是常數——隨機性「集中」到一層薄殼上。
集中是統計、機器學習、隨機演算法與統計物理背後沉默的主力。這就是為什麼幾千名受訪者的民調能釘住一國的民意、為什麼把含雜訊的量測平均起來能將它們淨化、以及為什麼泛化根本是可能的——一個模型在訓練集上的表現會集中在它真實表現的附近。誠實的提醒:集中需要各貢獻(近乎)獨立且尾部不太重。強相依或重尾(變異數無窮,如柯西)會破壞它——那時單一罕見項就能主宰整個平均,它永遠安定不下來。
用樣本中正面的比例來估計一枚硬幣的偏差。n = 100 次時,比例的標準差約為 0.05;n = 10000 次時,縮小到約 0.005。資料多了十倍,卻只緊了 sqrt(100) = 10 倍——這正是集中現象緩慢卻不懈的 1/sqrt(n) 招牌。
把許多獨立片段平均起來,結果就鎖定在它的均值上,並隨 n 增大而愈來愈緊。
集中需要近乎獨立與夠輕的尾部。若有強相依或變異數無窮(如柯西),單一罕見項就能主宰,平均永遠安定不下來。