變分持續學習（VCL）

當網路學一個新任務時，往往會覆寫掉舊任務，這個問題稱為災難性遺忘。VCL 用一個簡單的貝氏遞迴來防止這點：你學完任務一所得到的後驗，成為你學任務二時的先驗。知識會累積而非被抹除，因為舊資料的影響被先驗帶往未來，而不必重新造訪。

串流資料上的貝氏定理可分解：學完 t 個任務後的後驗，正比於新任務的概似乘上學完 t 減一個任務後的後驗，因此原則上你永遠不需要再用到舊資料。VCL 對深度網路以變分推論近似每個後驗來實現這點：新的變分分布以前一個為先驗去擬合新資料，這個 KL 錨把先前重要的權重拉回它們之前的值，通常再輔以一小組保留範例的核心集（coreset），以對抗近似漂移。

Nguyen 等人證明，這個有原則的遞迴在標準持續學習基準上勝過 EWC 之類的啟發式正則化項，而且不需任務專屬的調參。它的限制與變分推論如出一轍：平均場近似誤差會在長任務序列上累積，運行中的先驗逐漸失真，通常需要一個核心集，也就是一點記憶重播，來防止效能退化。