可信區間(credible interval)
在貝氏更新之後,你握有一整個定義在未知上的後驗分布,但人們想要一個簡短的摘要:「theta 大致在哪裡?」可信區間就是那個摘要——一個以陳明的後驗機率(比如 95 百分比)含有 theta 的區間。它是貝氏學派對「給我一個我能相信的範圍」的直接、白話的回答,而它的意思就如字面所示。
具體而言,一個 95 百分比的可信區間是任何使後驗機率 P(L <= theta <= U given data) = 0.95 的區間 [L, U]。兩種常見選法釘下了是哪一個區間。等尾區間就是把後驗的下 2.5 百分比與上 2.5 百分比切掉——它的端點是後驗的 0.025 與 0.975 分位數。最高後驗密度(HPD)區間則取仍涵蓋 95 百分比質量的最短區間,它一定包含最可能的那些值,在後驗偏斜時更為可取。對一個對稱的後驗,兩者一致。
與頻率派信賴區間的對比,是最重要——也最被誤解——的一點。一個 95 百分比的可信區間是關於 theta 的陳述:給定資料與先驗,theta 落在其中的後驗機率是 0.95。一個 95 百分比的信賴區間則是關於「程序」的陳述:若你永遠重複這個實驗,它所產生的區間有 95 百分比會涵蓋真實的 theta——但對你那唯一一個已實現的區間,theta 要嘛在裡面、要嘛不在,那 0.95 並不附著在那單一區間上。人們幾乎一律把信賴區間讀成像是可信區間;可信區間才是他們真正想要的東西,只是要等你接受一個先驗之後才能得到。
對點擊率而言,後驗為 Beta(7, 25) 時,0.025 與 0.975 分位數約在 0.10 與 0.38。於是等尾的 95 百分比可信區間大約是 [0.10, 0.38]:給定你的資料與平坦先驗,你賦予真實點擊率落在此範圍 0.95 的機率——這句話你可以理直氣壯地說。
可信區間說的是 P(theta 在區間內) = 0.95;信賴區間並不是這麼說。
95 百分比的可信區間真的對 theta 帶有 0.95 的機率;95 百分比的信賴區間並非如此——那 0.95 描述的是長期的程序,而非你那單一的區間。