神經資料的深度學習

神經資料 Transformer(NDT)

神經資料 Transformer(NDT)由 Ye 與 Pandarinath(2021)提出,是一種應用於尖峰神經元群體的 transformer,能以單次非循環的前向傳遞,從分箱的尖峰計數推得平滑的潛在放電率。它被提出作為 LFADS 更快、可平行化的替代方案:LFADS 使用循環變分自編碼器,NDT 則以自注意力遮罩並重建尖峰分箱,在延遲遠低的情況下達到相當的潛在品質與行為解碼準確率——這對即時閉迴路 BCI 頗具吸引力。

後續變體(尤其是 NDT2 及相關的時空詞元化方法)把此概念擴展到跨場次、跨受試者與跨腦區,將每個「通道–時間」分塊視為一個詞元,成為皮質內資料神經基礎模型的範本。它們凸顯的未解問題是:在刻板的運動任務上,注意力的彈性是否真能超越調校良好的動力學模型已能捕捉的部分。

在猴子的伸手任務中,NDT 以單次前向傳遞從分箱尖峰推得每個試次的放電率,達到與 LFADS 相當的解碼準確率,且執行速度足以嵌入閉迴路控制迴路。

以遮罩自注意力取代循環變分自編碼器,把序列式推論換成平行、低延遲的推論。

又稱
NDTNDT2