貝里—埃森定理(Berry-Esseen theorem)
/ BAIR-ee ess-AYN /
古典中央極限定理說標準化和的分布收斂到常態,卻對「多快」緘默。貝里—埃森定理補上這個速率:它在整條實線上一致地界定標準化和的精確分布函數與標準常態累積分布函數之間的距離。這是中央極限定理最尖銳的一階定量形式。
設 X_1, ..., X_n 為獨立同分布,均值 0、變異數 sigma^2 > 0、三階絕對動差 rho = E[|X_1|^3] 有限。令 F_n 為 S_n = (X_1 + ... + X_n)/(sigma sqrt(n)) 的累積分布函數,Phi 為標準常態累積分布函數。則 sup_x |F_n(x) - Phi(x)| <= C rho/(sigma^3 sqrt(n)),其中 C 為普適常數(數值上 C < 0.5,目前最佳常數約 0.4690)。速率為 1/sqrt(n) 階,而無量綱量 rho/sigma^3(一個無尺度的偏度/重尾度量)決定常數。證明是特徵函數論證:埃森光滑不等式把累積分布函數的上確界距離界為 |phi_{S_n}(t) - e^(-t^2/2)|/|t| 在有界頻率範圍上的積分,再用特徵函數在 0 附近的泰勒展開(用到三階動差)控制該積分。
貝里—埃森定理在任何需要保證而非僅僅漸近的場合都重要:統計信賴區間、蒙地卡羅誤差棒,以及任何 n 有限的情境。兩個誠實的警語。其一,1/sqrt(n) 速率一般而言是最優的,在此一致上確界範數下無法改進——對稱分布可能逐點收斂得更快,但最壞情形是 1/sqrt(n)(接近格點的二項分布是典型的慢例)。其二,三階絕對動差是必需的;僅有有限變異數時中央極限定理仍成立(林德伯格),但貝里—埃森給不出速率,且三階動差無窮的重尾分布可以任意慢地收斂。
對公平硬幣和(X_i = +/-1),sigma = 1、rho = E[|X|^3] = 1,故貝里—埃森給出 sup_x |F_n(x) - Phi(x)| <= C/sqrt(n)。在 n = 100 時這保證累積分布函數處處與常態相差約 0.05 以內——即使 n 不大,對有限樣本信賴陳述仍有用。
貝里—埃森把「最終常態」轉成大小為 C rho/(sigma^3 sqrt(n)) 的有限 n 保證。
此界需要有限的三階絕對動差;僅有有限變異數時中央極限定理仍成立但貝里—埃森給不出速率,而 1/sqrt(n) 速率在一致範數下一般不可改進。