收斂模式與極限定理

依分布收斂(convergence in distribution)

假設你有一整列隨機變數——X_1, X_2, X_3 等等——你想說它們「安定下來」趨向某個極限變數 X。最溫和、最謙虛的說法是:它們分布的「形狀」安定了下來。你不保證個別的數字會接近任何東西;你只保證 X_n 的直方圖開始長得像 X 的直方圖。這就是依分布收斂。

精確地說:X_n 依分布收斂到 X,指的是累積分布函數在極限上一致——F_n(x) = P(X_n <= x) 在 F 連續的每一點 x 上趨近 F(x) = P(X <= x)(我們容許在 F 的跳躍點上不一致)。這幅圖純粹講機率的堆積,而不講是哪個結果產生了哪個數字。要檢驗它,你可以比較 CDF,或等價地證明對每個有界連續函數 g 都有 E[g(X_n)] 趨近 E[g(X)],或者用最受歡迎的引擎——證明特徵函數收斂。

這是四種標準模式中最弱的一種,而它正是中央極限定理所給出的:許多獨立同分布變數標準化後的和依分布收斂到標準常態。但要誠實面對它「沒有」說的事。它對於變數是否活在同一個結果上隻字未提——X_n 與 X 甚至不必定義在同一個機率空間上,而且對任何特定結果,X_n 也不必在數值上接近 X。它是關於「律」的陳述,不是關於「點」的陳述。

設 X_n 在有限集合 {1/n, 2/n, ..., n/n} 上均勻分布。隨著 n 增大,這道離散的點階梯逐漸填滿區間 [0, 1],而 F_n(x) 對 0 <= x <= 1 趨近 x——所以 X_n 依分布收斂到一個連續的 Uniform(0, 1) 變數,儘管每個 X_n 都是離散的。

只有分布的形狀收斂;變數不必共享結果。

依分布收斂講的是律,不是點:對任何個別結果,X_n 都不必趨近 X,而且這些變數甚至不必活在同一個機率空間上。

又称
weak convergenceconvergence in law弱收斂依律收斂