概率与贝叶斯方法

先验、后验与似然(prior, posterior, likelihood)

/ PRY-or, pos-TEER-ee-or, and LY-kli-hood /

这三个词是每一次贝叶斯更新里的角色阵容,它们对应着一个简单的故事。先验,是你在看今天的数据之前所相信的。似然,是在问:对每一种可能的解释来说,它把我刚看到的数据解释得有多好?后验,则是你看完之后的信念——先验被证据重新塑形后的样子。一句话概括:后验正比于先验乘以似然。

用天气作例子就具体了。你的先验也许是:你所在小镇任意一天有30%的概率下雨。似然描述的是:在「今天会下雨」与「今天不下雨」两种情形下,分别有多大可能出现一片乌沉沉的厚重天空——而乌云密布在快下雨时要常见得多。当你抬头望见那样的天空,你「下雨」的后验概率便远远蹿过了30%。先验是你的基准线,天空是证据,后验则是更新后的预报。

有两点诚实的提醒,能避免这些词被误用。其一,似然不是「某解释为真」的概率——它是「在给定某解释下,数据出现」的概率,是反过来读的。其二,先验是一个货真价实的假设,而非中立的起点:数据多时先验会淡去、似然占上风,但数据少时,先验会悄悄左右答案。把这三者一一点名,会逼着你说清楚:你假设了什么、你观察到了什么、你现在又相信什么。

你掷一枚新硬币,想知道它偏向正面的程度。先验:你假定它多半是公平的,峰值落在0.5附近。似然:你掷了10次得到7次正面——数据偏向略高于0.5的偏置。后验:两者的融合,也许中心落在0.6左右,但因为10次太少,分布仍然很宽。若掷1,000次得700次正面,后验就会牢牢收紧在0.7附近,先验几乎被遗忘殆尽。

数据越多,后验越窄,也越能盖过先验;数据少时,先验依然声音洪亮。

一个常见的口误,是把似然当成「在各种解释上的概率分布」——它不是。似然是解释的函数,却是数据的概率;它在各解释上加起来不必等于1。只有后验,才是你真正想知道之事的一个正规概率分布。

又称
prior distributionposterior distributionlikelihood function先验分布后验分布似然先驗分布後驗分布