機率與貝氏方法

共軛先驗(conjugate prior)

/ KON-juh-git PRY-or /

共軛先驗是一種數學上的幸運配對:這樣一個先驗,在你把資料揉進去之後,出來還是同一種形狀——只是數字更新了。這就像有一個儲蓄帳戶,每一筆存款都讓餘額保持同一種貨幣。你永遠不必兌換;更新無非是撥動幾個計數器。

具體來說,如果你對一枚硬幣偏置的先驗信念是一個Beta分布,而你觀察到的是擲硬幣(二項過程),那麼後驗仍是一個Beta分布。更新時,你只需把正面的次數加到一個參數上、反面的次數加到另一個參數上。不必積分,不必取樣——貝氏更新坍縮成了算術。著名的配對包括:Beta與二項、Gamma與卜瓦松、以及高斯先驗配高斯似然。

它為何重要,又止於何處:在快速電腦出現之前,共軛性往往是做貝氏推論的唯一可行之路;而即便到今天,它仍因「精確、即時、易於推理」而備受珍視。但它是一種便利,而非自然律。真實問題很少恰好遞給你一個共軛模型,硬湊一個反而可能扭曲你誠實的信念。當沒有共軛先驗合適時,你就退回到MCMC或變分推論之類的近似方法。把共軛性當作偶然降臨的禮物,而不是非追不可的硬指標。

一個網站的點擊率。先從Beta(1,1)先驗出發(平坦,完全沒把握)。把廣告展示200次,被點了30次。後驗就直接是Beta(1+30, 1+170) = Beta(31, 171)。完事——計算難度不超過做加法。它的均值是31/202 ≈ 15%,而分布的寬度也誠實地反映出:200次試驗仍只是個不大的樣本。

Beta–二項共軛:更新無非是把成功與失敗的次數,分別加到先驗的兩個計數上。

共軛性是出於數學上的便利而被選用的,並非因為它捕捉到了真相。如果你真實的信念並不長著共軛族的樣子,卻仍要選它,那就是用誠實換取了整潔。現代的計算能力,意味著你已不再被迫做這種交換。

又稱
conjugacy共轭先验共軛先驗共轭分布