概率与贝叶斯方法

吉布斯采样(Gibbs sampling)

/ GIBZ SAM-pling /

吉布斯采样,是马尔可夫链蒙特卡洛一种简单而流行的变体,适用于这种情形:你一下子有许多未知量,把它们一齐更新很难,但「固定住其余的、一次只更新一个」却很容易。这个想法,好比去调一屋子彼此影响的恒温器:你没法一口气把它们全都设到完美,于是你假装其余的都已稳定,先拨一个,再挪到下一个、再下一个,如此循环往复。每转一圈,都把整个系统往平衡又推近一点。

具体说来,你在各个变量间循环,对每一个,都在「以其余所有变量的当前取值为条件」的分布里,抽出一个新的随机值。你从不必直接对那个纠缠的联合分布整体采样——只需对这些更容易的、一次一个变量的小块下手。一圈又一圈,你所经过的那一串完整配置,便成为「你真正想要的那个联合分布」的有效样本——恰如一般MCMC所许诺的那样。

它为何重要:吉布斯采样是拟合分层贝叶斯模型、马尔可夫随机场与主题模型的一匹默认主力,备受喜爱,因为它不需要手调步长——每一个被提议的移动都被自动接受。它诚实的弱点,在变量之间强相关时便显露出来:一次只改一个,逼得采样器只能迈着细碎的、被对角线卡住的步子,就像想穿过一个房间却只准朝南北或东西方向挪动。它于是探索得慢得令人发指,可能要走极其大量的迭代才能覆盖整个空间——尽管每一步本身既便宜又简单。

两个一同变动的未知量——比方说一个人真实的身高与体重,二者相关。吉布斯采样固定住体重,依它抽一个新的身高;再固定住那个身高,依它抽一个新的体重;如此反复。倘若身高与体重紧紧相连,每一步便只能笔直向上或笔直横移,于是采样器只好沿着那团对角线的云雾慢慢曲折前进,而非大步穿越它。

吉布斯一次只更新一个变量,所以强相关的变量会让它曲折缓行,而不能自由移动。

吉布斯采样的诱人之处,在于它没有调节旋钮、又对每一步照单全收,但这份便利也藏着它的致命弱点:当变量高度相关时,「一次一个」的更新混合得极慢,这条链可能需要远比表面看上去多得多的迭代。

又称
Gibbs sampler吉布斯采样吉布斯取樣吉布斯抽样