應用:貝氏推論、資訊與模擬

貝氏派與頻率派推論之別(Bayesian vs frequentist inference)

把資料化為結論有兩大傳統,它們在一件根本的事上意見相左:「機率」被允許用來描述什麼。頻率派把機率保留給可重複事件的長期頻率,所以像某種藥的真實療效這樣的固定未知就沒有機率——它就只是某個數字。貝氏派則允許機率描述一種信念程度,所以對那個未知放上一個分布並更新它,完全沒問題。從這一個哲學上的岔路,長出了兩整套工具箱。

看看每一派如何處理未知 theta 與資料。頻率派把 theta 固定、把資料當成隨機;推論問的是「在許多假想的重複下,我的估計量會如何表現?」——給出最大概似估計、p 值與信賴區間,這些都不對 theta 本身賦予機率。貝氏派把觀測到的資料固定、把 theta 當成隨機的未知;推論就是後驗,可信區間與預測都直接由它落下。一個鮮明的對比:被問到一個 95 百分比的區間,頻率派保證那個「程序」在重複下有 95 百分比的時候涵蓋 theta,而貝氏派斷言 theta 落在「這個」區間裡的機率是 0.95。

想替誰加冕為勝者很誘人,卻是錯的。頻率派方法不需先驗,且帶有乾淨的重複抽樣保證,但它的輸出(尤其是 p 值與信賴區間)常被誤讀成貝氏陳述。貝氏派方法給出可直接詮釋的答案,並自然地把先驗知識與不確定折入,但它要你陳述一個先驗,且通常需要繁重的計算。實務上兩者數值上往往一致——資料多而先驗溫和時,後驗均值就坐落在最大概似估計附近,可信區間也幾乎吻合信賴區間——而好的實務者會自由地從兩邊取材。

一枚硬幣 10 擲得 8 正面。頻率派對正面機率的最大概似估計是 8/10 = 0.8,而信賴區間描述那個估計量在重複下的行為。採用平坦 Beta(1, 1) 先驗的貝氏派回報一個 Beta(9, 3) 後驗,其平均為 9/12 = 0.75——被先驗拉向 0.5——而可信區間描述的是對這枚硬幣的信念。

頻率派讓 theta 固定、資料隨機;貝氏派讓資料固定、theta 隨機。

沒有哪一派是普遍「正確」的;實務上最深的錯誤,是回報一個頻率派的信賴區間或 p 值,卻用貝氏的語言去詮釋它。

又称
two schools of statisticsfrequentism貝氏與頻率之爭