高斯過程與高斯測度

Dudley 熵界(Dudley's entropy bound)

/ DUD-lee /

Borell-TIS 告訴你高斯過程的上確界至多波動 sigma;真正困難的量是該上確界的「平均」。Dudley 熵界是它的標準上估計:它用指標集的度量熵的單一積分來控制 E[sup X_t],而度量是過程本身誘導的自然距離。它是鏈式技術——對指標集逐次細化網——的回報。

在指標集 T 上裝備典範(內蘊)度量 d(s, t) = sqrt( E[(X_s - X_t)^2] ),即過程值的 L^2 距離。設 N(T, d, epsilon) 為覆蓋數——覆蓋 T 所需半徑 epsilon 的球的最少個數——並稱 log N(T, d, epsilon) 為度量熵。Dudley 界陳述:E[ sup_(t in T) X_t ] <= C 乘以 integral_0^infinity sqrt( log N(T, d, epsilon) ) d epsilon,C 為普適常數(積分實際上至 T 的直徑為止)。證明是鏈式:用一連串越來越細的 epsilon-網中最近點逼近每個 t,把 X_t 寫成相鄰網層間增量的伸縮和,用尺度 epsilon 增量的高斯(次高斯)尾界定每層貢獻,再對幾何級數求和——sqrt(log N) 正是每個尺度上有限多個次高斯的最大值。蘇達科夫不等式給出相配的「下」界,sup_epsilon epsilon sqrt(log N(T, d, epsilon)) <= C' E[sup X_t],故熵在常數倍意義下從兩側控制上確界。

重要性:Dudley 把機率量化為幾何/組合量——數 epsilon-球——是證明高斯過程樣本路徑連續與有界、以及界定統計與學習理論中經驗過程的基本工具。誠實的提醒是 Dudley 一般「不」緊:存在某些高斯過程,其真正的 E[sup] 嚴格小於熵積分。銳利的雙側刻畫是 Talagrand 的一般鏈式/優控測度(gamma_2 泛函),Dudley 積分是它乾淨但有損的上界。

對 [0, 1] 上的布朗運動,典範距離為 d(s, t) = sqrt( E[(B_s - B_t)^2] ) = sqrt(|s - t|)。在此度量下以解析度 epsilon 覆蓋 [0, 1] 約需 1/epsilon^2 個球,故 log N 約為 2 log(1/epsilon),而 integral_0^1 sqrt(2 log(1/epsilon)) d epsilon 收斂——直接由熵積分給出 E[sup_(t<=1) B_t] < infinity,即有界性。

Dudley 用過程自身 L^2 度量下的熵積分界定期望上確界;積分有限即證有界性。

Dudley 積分僅為上界且可能不緊;銳利的雙側答案是 Talagrand 的一般鏈式(gamma_2 泛函),蘇達科夫則給出相配下界。

又称
Dudley's integralentropy boundchaining boundDudley 積分熵積分界