概率与贝叶斯方法

共轭先验(conjugate prior)

/ KON-juh-git PRY-or /

共轭先验是一种数学上的幸运配对:这样一个先验,在你把数据揉进去之后,出来还是同一种形状——只是数字更新了。这就像有一个储蓄账户,每一笔存款都让余额保持同一种货币。你永远不必兑换;更新无非是拨动几个计数器。

具体来说,如果你对一枚硬币偏置的先验信念是一个Beta分布,而你观察到的是抛硬币(二项过程),那么后验仍是一个Beta分布。更新时,你只需把正面的次数加到一个参数上、反面的次数加到另一个参数上。不必积分,不必采样——贝叶斯更新坍缩成了算术。著名的配对包括:Beta与二项、Gamma与泊松、以及高斯先验配高斯似然。

它为何重要,又止于何处:在快速计算机出现之前,共轭性往往是做贝叶斯推断的唯一可行之路;而即便到今天,它仍因「精确、即时、易于推理」而备受珍视。但它是一种便利,而非自然律。真实问题很少恰好递给你一个共轭模型,硬凑一个反而可能扭曲你诚实的信念。当没有共轭先验合适时,你就退回到MCMC或变分推断之类的近似方法。把共轭性当作偶然降临的礼物,而不是非追不可的硬指标。

一个网站的点击率。先从Beta(1,1)先验出发(平坦,完全没把握)。把广告展示200次,被点了30次。后验就直接是Beta(1+30, 1+170) = Beta(31, 171)。完事——计算难度不超过做加法。它的均值是31/202 ≈ 15%,而分布的宽度也诚实地反映出:200次试验仍只是个不大的样本。

Beta–二项共轭:更新无非是把成功与失败的次数,分别加到先验的两个计数上。

共轭性是出于数学上的便利而被选用的,并非因为它捕捉到了真相。如果你真实的信念并不长着共轭族的样子,却仍要选它,那就是用诚实换取了整洁。现代的计算能力,意味着你已不再被迫做这种交换。

又称
conjugacy共轭先验共軛先驗共轭分布