機率不等式與集中不等式

尾界(tail bound)

一個分布的大部分機率都坐落在它的中心附近,但有趣的風險住在尾部——那些遠處的值、罕見的大幅偏離。尾界是任何用來封頂「那裡能藏多少機率」的保證:對 P(X >= a)(上尾)、對 P(X <= a)(下尾)、或對 P(|X - 均值| >= a)(雙側尾)的上限。它以一個可證明的上界,回答「一個極端結果有多不可能?」。

「尾部」字面上就是分布超過某門檻的那一部分——密度曲線在 a 之外的面積,或所有那麼極端的值之機率總和。尾界用一個乾淨、保證更大、而你真的能用的表達式,取代往往無法計算的精確尾部機率。本領域的各種界形成一道由淺入深的銳利度階梯,逐步使用更多資訊:馬可夫只用均值,給出緩慢的 1/a 衰減;柴比雪夫加上變異數得到 1/a^2;柴諾夫、霍夫丁與伯恩斯坦則用動差母函數或有界性,交出像 e^(-c a^2) 這樣指數級微小的尾部。買進更多資訊,交付更緊的上限。

尾界是集中現象的實務面貌:當你需要一個有限樣本的保證時,引用的就是它——「以至少 0.99 的機率,誤差低於 epsilon」。在信心水準與區間之間互換,正是把一個尾界反解出來。兩個誠實的提醒。第一,一個界是單向的:它說尾部「不大於」某物,從不說它「就是」那麼大——一個鬆的界可能大幅高估真實風險。第二,正確的工具取決於你知道什麼:只有均值時你只能用馬可夫;輕尾時你可以宣稱指數衰減;重尾(變異數無窮)時,那些強的指數界根本不成立。

對一個均值 50、標準差 5 的變數,什麼界能限制 P(X >= 70)?馬可夫(只用均值,若 X >= 0)給出 <= 50/70 ≈ 0.71。柴比雪夫(用變異數)給出 P(|X - 50| >= 20) <= (5/20)^2 = 1/16 ≈ 0.0625。同一個尾部,上限緊得多,只因知道得更多。

對「極端處住著多少機率」的有保證上限——知道得愈多,界愈銳利。

尾界只是一個上限:它從不說尾部真的那麼大,而一個鬆的界可能嚴重高估真實風險。那些指數界也需要輕尾——對變異數無窮的分布會失效。

又稱
tail inequalitydeviation boundtail probability bound尾部機率界偏離界