機率不等式與集中不等式

柴比雪夫不等式(Chebyshev's inequality)

/ CHEB-i-shev /

一個隨機變數能離它的平均值多遠?若一個過程被嚴格控制,大幅擺動應該很罕見。柴比雪夫不等式只用均值之外的一條額外資訊——變異數,也就是衡量典型散布程度的量——就把這件事量化。它對任何分布都能回答「偏離 k 個標準差有多不可能?」。

敘述如下:對任何均值為 mu、變異數為 sigma^2 的隨機變數 X,以及任意 k > 0,有 P(|X - mu| >= k sigma) <= 1 / k^2。所以離均值至少 2 個標準差的機率至多 1/4;至少 3 個,至多 1/9;至少 10 個,至多 1/100。其證明只是換了裝的馬可夫不等式:把馬可夫套用到非負變數 (X - mu)^2 上,它的均值恰好是 sigma^2,而門檻 (k sigma)^2 讓 E[(X-mu)^2]/(k sigma)^2 變成 sigma^2/(k^2 sigma^2) = 1/k^2。整個把戲就這樣。

柴比雪夫不等式最大的優點是普適性——它不需要任何形狀假設,只要變異數有限——這也正是它對漂亮分布顯得很鬆的原因(對常態而言,3 sigma 約為 0.3%,遠低於柴比雪夫的 1/9)。它的主角戲是證明弱大數法則:n 個獨立項之平均的變異數會像 1/n 那樣縮小,於是柴比雪夫迫使平均值隨 n 增大而集中在均值上。它是第一座從變異數通往集中的嚴謹橋樑。

一台機器把瓶子裝到均值 500 毫升、標準差 5 毫升,形狀未知。有多少比例落在 480-520 毫升之外(寬 4 sigma,故每邊 2 sigma)?柴比雪夫:P(|X - 500| >= 10) <= 1/2^2 = 1/4。至多四分之一——無論什麼分布形狀都不會更糟。

光憑變異數就能限制偏離 k 個標準差的機率:至多 1/k^2。

柴比雪夫只在 k > 1 時有用(k <= 1 時界 1/k^2 >= 1 什麼也沒說),且需要變異數有限——對變異數無窮的重尾分布並不適用。

又称
Chebyshev boundTchebysheff inequality柴比雪夫界