貝氏深度學習

正規化流後驗(normalizing-flow posteriors)

平均場變分推論假設後驗是一堆獨立高斯的乘積:便宜,但無法捕捉相關性或彎曲、多峰的形狀。正規化流後驗解決了這點:它從一個簡單的高斯出發,推過一連串可逆且可微的變換,把它扭成豐富得多的分布,同時仍能精確地計算其密度。

每個變換對密度的影響由變數變換公式追蹤,因此扭曲後樣本的對數密度,等於基底對數密度減去各個雅可比行列式之對數的總和。planar、逆自迴歸(IAF)、RealNVP、神經樣條流等流被設計成讓這些雅可比對數行列式很便宜。Rezende 與 Mohamed 用它讓 ELBO 內的變分 q 更有彈性:你抽出基底雜訊、讓它流過,重參數化的梯度便直接穿過。

這讓變分近似更貼近真正的後驗,縮小了 ELBO 的鬆弛度,也是表達力強的變分自編碼器(透過逆自迴歸流)以及彈性權重或潛在後驗的核心。代價是每個流步增加的參數與計算量,以及深度與表達力的取捨:層太少就退回平均場,層太多則最佳化變得脆弱。

又称
正規化流後驗flow-based variational posteriors