從特徵到詞元
在先前的冊次中,你要嘛親手打造特徵(頻帶功率、共變異數幾何),要嘛讓像 EEGNet 這樣精巧的 CNN 為單一任務端到端地學出特徵。基礎模型則需要一種通用的詞元化:一種把連續、多通道的活動切成離散單位序列的方法,好讓變換器在其上做注意力運算,而不必先綁定任何任務。
三種詞元化策略最為主流。逐脈衝詞元(POYO)把每一個偵測到的脈衝當成一個詞元,攜帶一個學到的單元身分與時間戳 — 天生稀疏且與通道數無關。區塊詞元把 LFP/EEG 切成短短的時間─通道區塊,就像視覺變換器把影像切成區塊。離散碼讓活動通過一個學到的向量量化器(LaBraM),得到有限的碼本 — 一套字面意義上的神經符號字母表。你的選擇會形塑下游的一切;參見脈衝詞元化與群體層級嵌入。
遮罩式建模
最主力的目標是遮罩式建模:遮住已詞元化活動的一部分,訓練網路從其餘部分預測它 — 正如 BERT 遮住詞彙,或遮罩自編碼器遮住影像區塊。NDT 沿時間遮住脈衝分箱;LaBraM 遮住其量化碼;模型必須學會時間結構與跨通道結構才能補回缺口。這就是對神經活動的遮罩式建模。
遮罩式卜瓦松重建(如 NDT):對被遮住的分箱 M,由可見的脈絡預測發放率 lambda,並以被遮住脈衝計數的卜瓦松負對數概似來評分。
這個卜瓦松項並非裝飾:脈衝計數是非負整數,其變異數與平均值相連,因此卜瓦松(或負二項)概似才是有原則的重建損失 — 平方誤差會錯誤地建模你在第二冊研究過的雜訊。
對比學習
第二類是對比表徵學習。它不做重建,而是把應當相似的樣本(時間上相鄰,或共享某個行為標籤)之嵌入拉近,並把其餘的推遠。CEBRA把這件事在神經科學中落實,得到跨動物、跨場次都一致的嵌入 — 這是通往共享潛在幾何的一條路。
InfoNCE 目標:一組正配對 (z, z+) 對照一批負樣本 z_j 來評分,溫度為 tau。表徵的品質取決於你如何定義「正樣本」。
生成式目標,以及表徵帶來什麼
第三類是自回歸/生成式 — 預測活動的下一個詞元(Neuroformer),這還額外讓模型能模擬看似合理的神經未來。無論採用哪種目標,回報都相同:一個你可以探測、線性讀出、微調、或跨場次對齊的潛在表徵。這條學習路徑接下來的部分,講的就是如何讓這個表徵變得共享且可適應。