機率不等式與集中不等式

阿祖瑪-霍夫丁不等式(Azuma-Hoeffding inequality)

/ ah-ZOO-mah HUF-ding /

霍夫丁不等式假設你所加總的各項是獨立的。但許多真實過程是一步一步累積起來的,每一步都可能依賴過去——一個滾動的賭資餘額、一個一筆資料一筆資料揭露出來的量、一個狀態不斷更新的演算法。如果這個滾動總和是一場「公平的賭局」(一個鞅),而它各步的幅度有界,我們仍能證明它保持集中嗎?阿祖瑪-霍夫丁不等式說可以。

設定:令 M_0, M_1, ..., M_n 為一個鞅,意思是每一步在這個意義下是公平的:給定過去,下一個值的期望等於當前值(E[M_k 給定到 k-1 的歷史] = M_{k-1})。假設每個增量有界:|M_k - M_{k-1}| <= c_k。則 P(M_n - M_0 >= t) <= exp( -t^2 / (2 對 c_k^2 求和) ),下尾也有相同的界。它看起來恰與霍夫丁一樣,由步幅平方 c_k^2 扮演範圍平方的角色——但它不再要求獨立,只要鞅(公平賭局)與步幅有界的條件。

這是在相依、序列情境中做集中分析的主力。標準配方:取任何依賴許多輸入的量,把輸入一個一個揭露,並令 M_k 為給定前 k 個輸入時的最終值期望(一個「杜布鞅」);若揭露一個輸入不會把條件期望改變超過 c_k,阿祖瑪就交出一個集中界。McDiarmid 的有界差分不等式,正是這個想法針對獨立輸入的函數所做的包裝。誠實的提醒:你必須驗證鞅性質與每一步的真實界,這往往是難處所在。

洗一副牌並一張一張翻開;令 M_k 為在看過前 k 張牌的條件下,最終「紅牌緊接黑牌」相鄰數的期望。每翻一張牌頂多把這個期望移動一個小量 c。阿祖瑪於是證明最終計數會緊緊集中在它的均值附近,即使牌之間高度相依(不放回)。

不需獨立的集中:一場步幅有界的公平賭局會停留在它出發點附近。

阿祖瑪需要一個真正的鞅(E[下一步 給定過去] = 當前)以及每個增量的硬性界。一旦失去鞅性質、或讓某一步無界,這個界就崩潰。

又称
Azuma's inequalityAzuma-Hoeffding bound阿祖瑪不等式