適應性、抗漂移與終身學習解碼器

災難性遺忘

指在新資料上訓練的神經網路,會驟然喪失其對較早資料的能力,因為針對新分布的梯度更新覆寫了編碼舊分布的權重。在抗漂移腦機介面中,這正是天真補救所招致的失敗:每天只用今日資料重新訓練解碼器,它或許能把今日解碼得很好,卻在它曾應付自如的各種情境上失靈,使準確度變得脆弱、隨最近所見而擺盪。

標準的緩解方式對應到持續學習的工具箱。彈性權重固化等正則化方法,加入一項懲罰以錨定被判定為對過往表現重要的權重(由費雪資訊估計),同時讓較不重要的權重自由移動。重播(排演)將一個過往範例緩衝區與新範例交錯訓練,使舊分布不會從訓練中缺席。參數隔離則為每種情境凍結或增生專屬容量。在腦機介面中,這些都須在嚴苛的運算、延遲與隱私限制下運行,而缺乏已標記的過往資料,可能使重播本身難以忠實實作。

又稱
catastrophic interference