熵方法（entropy method）

熵方法是通往集中的一條系統化、幾近機械的路徑，它以單一反覆出現的量——指數 e^(lambda f) 的熵——與單一結構工具——此熵在獨立座標上可張量化——取代鞅或塔拉格朗論證的臨機巧思。它是現代最尖銳、變異數感知的集中不等式（Bousquet 對經驗過程上確界的界、帶變異數的有界差分不等式、自界函數）背後的技術，並把集中直接連結到對數索伯列夫不等式這類泛函不等式。

對於非負隨機變數 Y，定義其熵 Ent(Y) = E[Y log Y] - E[Y] log E[Y]（由 Jensen 為非負量）。此方法研究 Ent(e^(lambda f)) 作為 lambda 的函數。第一根支柱是 Herbst 論證：若能證明形如 Ent(e^(lambda f)) <= (lambda^2 sigma^2 / 2) E[e^(lambda f)]（對所有 lambda）的「修正對數索伯列夫」不等式，則兩邊相除把它變成對數動差母函數 H(lambda) = log E[e^(lambda f)] 的微分不等式，即 (H(lambda)/lambda)' <= sigma^2/2，積分得 H(lambda) <= lambda E[f] + lambda^2 sigma^2/2——次高斯動差母函數界，故由 Chernoff 得高斯集中。第二根支柱是張量化：對於獨立座標的函數，e^(lambda f) 的熵被「逐一重新抽樣一個座標所得的條件熵」之和所界定，Ent(e^(lambda f)) <= sum_i E[Ent_i(e^(lambda f))]。這個次可加性正是把高維問題化約到單座標計算的關鍵；你只須控制重抽樣單一輸入時 e^(lambda f) 變動多少，而無維度的聚合是自動的。

此方法相對 McDiarmid 與 Azuma 的超能力在於：逐座標項自然涉及一個「類變異數」的量——重抽樣一個座標時的條件波動——而非最壞情形差分，故它產生 Bernstein 型與自界不等式。自界函數（滿足 sum_i (f - f_i)^2 <= f，其中 f_i 是去掉座標 i 後的值者）經由此路徑自動以卜瓦松型速率集中。誠實的提醒是：此方法的產出恰好和你能為底層測度證明的對數索伯列夫型不等式一樣好；對於乘積測度，張量化免費給你那個不等式，但對於相依變數（馬可夫鏈、吉布斯測度），你需要一個真正的對數索伯列夫或龐加萊常數，而求得該常數可能就是全部的困難——此時集中與譜間隙一樣難。