神經解碼器的可解釋性

可解釋性方法試圖說明神經解碼器學到了什麼，這在 BCI 中對科學洞見（模型用的是生理還是假影？）與安全及法規信任皆屬重要。技術包括基於梯度與擾動的顯著性（輸出依賴哪些時間點、通道或頻率）、激活最大化與學習濾波器可視化（Schirrmeister 對 ConvNet 濾波器的頻域分析）、消融研究，以及對於特徵線性的模型至關重要的 Haufe 轉換——它把判別性的濾波器權重轉為可詮釋的激活型態。

Haufe 的洞見是一個反覆出現的陷阱：線性（或線性化）解碼器的權重並不指出訊號在何處，因為大權重常被指派給攜帶雜訊、需被分類器抑制的通道。唯有對應的激活型態（權重向量乘以特徵共變異數）才具神經生理可詮釋性。除此之外，深度網路的顯著性圖出了名地脆弱，可能通過健全性檢查卻並不忠實，因此 BCI 中的可解釋性主張應與解碼主張受同等程度的懷疑檢視。