運輸成本(Marton)不等式(transportation-cost inequality)
/ MAR-tohn /
運輸成本方法由 Katalin Marton 開創,從一個完全不同且極為穩健的原理導出測度集中:一個不等式,它把「將任何另一個機率測度運輸到你的參考測度上」的 Wasserstein 成本,用該測度相對於參考測度的相對熵(Kullback-Leibler 散度)之平方根來界定。它的巨大優點是能乾淨地把集中推廣到「相依」隨機變數——馬可夫鏈、混合過程——而鞅與熵方法在那裡需要額外假設。
度量空間上的測度 mu 滿足 p 階運輸成本不等式(「T_p 不等式」)且常數為 C,若對每個相對於 mu 絕對連續的測度 nu,W_p(nu, mu) <= sqrt(2 C * KL(nu || mu)),其中 W_p 是 p-Wasserstein 距離、KL 是相對熵。p = 1(Marton 的 T_1,經由對偶論證等價於 Lipschitz 函數的次高斯集中)與 p = 2(Talagrand 的 T_2,它由對數索伯列夫不等式蘊含且更強)是核心情形。此種不等式給出集中的機制很優雅:取 A 為測度至少 1/2 的集合,令 nu 為 mu 在 A 上的條件;則 KL(nu || mu) <= log(1/mu(A)) = log 2,故 W_1(nu, mu) 很小,意指條件測度在運輸距離上接近 mu,這迫使 mu 的大部分質量落在到 A 的距離 O(1) 之內——正是測度集中。Marton 的妙招是一個耦合論證(Marton 耦合),它為乘積測度、更重要地為其條件分布滿足收縮條件的測度(涵蓋收縮馬可夫鏈)證明 T_1 不等式。
此路徑之所以重要:它是「相依」變數之函數集中的最自然框架。對於其單步轉移在 Wasserstein 距離下為收縮(Dobrushin 型條件)的馬可夫鏈,Marton 方法為整條軌跡的 Lipschitz 泛函產生 McDiarmid 型集中,常數僅被混合/收縮係數所降級。誠實的提醒:運輸不等式中的常數 C 正是集中常數,故此方法只和你能證明的運輸常數一樣好,而對於緩慢混合的鏈,C 會爆掉。此外,T_2(足以給出 L^2-Lipschitz 函數的無維度高斯型集中,亦是來自對數索伯列夫的形式)嚴格強於 T_1;混淆兩者會誇大可用的集中。
對於 [0,1]^n 上的乘積測度,Marton 的 T_1 不等式在漢明加權 W_1 下以常數 n/4 成立,對偶化即回到 McDiarmid:任何(在加權漢明意義下)1-Lipschitz 的函數 f 滿足 P(f - E[f] >= t) <= exp(-2 t^2 / n)。此方法的強處在於:同一推導,把常數換成 n/(4(1-gamma)^2),對收縮係數 gamma < 1 的馬可夫鏈也成立。
運輸不等式把集中推廣到相依(混合)變數。
集中常數正是運輸常數 C,故緩慢混合的鏈給出弱集中。T_2 嚴格強於 T_1,亦是對數索伯列夫所交付者;不要從 T_1 不等式宣稱 T_2 等級(無維度 L^2)的集中。