機率不等式與集中不等式

馬可夫不等式(Markov's inequality)

/ MAR-kof /

假設你對一個非負的量唯一知道的就是它的平均值。某慈善機構告訴你平均捐款是 20 元。有可能一半的捐款人每人各捐了 1000 元嗎?常識會說不可能——若太多人捐了鉅額,平均值就不可能維持得這麼低。馬可夫不等式把這種直覺化為一個精確、有保證的界,限制一個非負隨機變數能多常變得很大。

敘述如下:若 X 是非負隨機變數,a 是任意正數,則 P(X >= a) <= E[X] / a。換句話說,X 至少達到 a 的機率,不超過它的均值除以 a。其推理簡單到幾乎令人不好意思。每當 X >= a,光是這個結果就對平均值貢獻至少 a;而 X < a 的那些情境至少貢獻 0。所以 E[X] 至少是 a 乘以「大值情境」的機率:E[X] >= a P(X >= a)。兩邊除以 a 就完成了。請注意它是只用均值與非負性建立起來的單側尾界。

需要這麼少資訊的代價,就是這個界通常很鬆——它是這個領域裡最弱的集中工具,而且永遠贏不過 1(若 E[X]/a > 1,這個界什麼也沒說)。它真正的威力在於當作積木:餵它 X^2 就得到柴比雪夫不等式;餵它 e^(tX) 就得到柴諾夫界。本領域裡幾乎每一個更銳利的尾界,都是把馬可夫不等式套用到一個巧妙選定的 X 的函數上。

考試平均分 E[X] = 60(滿分 100,故 X >= 0)。最多多少比例的人能拿到至少 90 分?馬可夫說 P(X >= 90) <= 60/90 = 2/3。雖鬆,卻牢不可破:即使只知道均值,也不會有超過三分之二的人考那麼高。

光憑均值,就能對一個非負變數「多常變大」訂出有保證的上限。

馬可夫不等式要求 X >= 0。若套用到可能為負的變數,這個不等式根本不成立;你必須先取絕對值或某個非負函數。

又称
Markov boundMarkov's bound馬可夫界