貝氏深度學習

蒙地卡羅丟棄法(MC dropout)

丟棄法(dropout)通常是訓練時的正則化手段,測試時就關掉。蒙地卡羅丟棄法測試時仍保持開啟:把同一筆輸入重複跑過網路許多次,每次隨機歸零不同的一批神經元,再把這些預測的散布程度當作不確定性的度量。各次傳遞一致之處模型有把握,散開之處則沒把握。

Gal 與 Ghahramani 證明:用 dropout 加權重衰減訓練網路,等價於在一個深度高斯過程上做變分推論——每個 dropout 遮罩對應於從權重近似後驗中抽出的一個樣本,而平均 T 次隨機前向傳遞就是對預測分布做蒙地卡羅積分。預測平均是這些傳遞的平均;預測變異數再加上一個反精度項,則估計知識(epistemic)不確定性。

它幾乎免費,不必重新訓練,因此成了最便宜的不確定性基準。但它隱含的後驗只是粗糙的伯努利混合:其不確定性不一定會隨資料增多而正確縮小,常常校準不良,而且高度依賴 dropout 率,而這個率是手動固定的、並非從資料推論得來。

又称
MC dropout蒙地卡羅丟棄法