高維機率與集中

貝內特不等式(Bennett's inequality)

/ BEN-it /

貝內特不等式是針對獨立有界變數之和的經典「變異數加上界」集中不等式中最尖銳者。Hoeffding 只用值域、Bernstein 用變異數加上放寬的速率,而貝內特從相同的假設(一個變異數界與每個被加項的幾乎必然上界)中萃取出確切的最佳指數。它的速率函數正確地在高斯中心與卜瓦松尾之間插值,而 Bernstein 不過是貝內特速率的一個便利下界。

陳述如下:設 X_1、…、X_n 獨立、置中、幾乎必然 X_i <= b,且 sum Var(X_i) <= sigma^2。則對 t > 0,P(sum X_i >= t) <= exp(-(sigma^2 / b^2) h(b t / sigma^2)),其中 h(u) = (1 + u) log(1 + u) - u 是卜瓦松速率函數。函數 h 是關鍵角色:它是置中卜瓦松變數的速率函數,對小 u 有 h(u) ~ u^2/2(回到高斯尾 exp(-t^2 / 2 sigma^2)),對大 u 有 h(u) ~ u log u(回到形如 (sigma^2/(b t))^(t/b) e^(t/b) 的尾,比任何純指數都快)。卜瓦松速率函數出現的原因是結構性的:在所有給定變異數與給定上界 b 的分布中,極端大偏差行為由(複合)卜瓦松型分布達成,因此貝內特正是捕捉那個最壞情形。Bernstein 不等式由貝內特透過初等界 h(u) >= u^2 / (2(1 + u/3)) 得出,這以代數上更簡單的兩區段形式換取了確切的卜瓦松速率。

實務上,貝內特用於極端尾真正重要之處——罕見事件估計、由偶發大被加項驅動之估計量的分析,以及任何需要真對數速率而非便利界的場合。它的提醒正是其優點的鏡像:它需要變異數控制與幾乎必然的單邊上界 b,且是單邊的(對稱的雙邊陳述須以相關界對 X 與 -X 分別套用)。當 b -> 0 而 sigma^2 固定時(眾多微小被加項),貝內特界收斂到確切的高斯尾 exp(-t^2 / 2 sigma^2),這是中央極限定理的定量化;當被加項無上界時,貝內特不適用,須用次指數(Bernstein)或更重尾的工具。

對 n 個獨立罕見事件的指示變數求和,各事件機率為 p,故每個置中被加項至多為 b = 1 且變異數為 p(1-p) ~ p;sigma^2 = np。貝內特給出 P(sum >= np + t) <= exp(-np h(t/(np))),對於極端尾 t = np,它重現了 Bernstein 只能粗略界定的真正卜瓦松上尾風味。

貝內特的速率是卜瓦松速率函數 h(u) = (1+u)log(1+u) - u。

貝內特需要單邊幾乎必然界 X_i <= b 且本身為單邊;它嚴格比 Bernstein 尖銳,後者由初等不等式 h(u) >= u^2/(2(1+u/3)) 得出。極限 b -> 0 使它成為定量化的中央極限定理。

又称
Bennett bound貝內特界