標籤瓶頸
標籤稀少，但原始神經記錄相對充裕：閒置的靜息態 EEG、任務區塊之間的連續皮質內串流、龐大的未標註檔案庫。自監督預訓練把這份充裕轉化為表徵。你設計一個僅憑資料本身即可解決的前置任務，在其上預訓練一個大型編碼器，再於你的小型有標籤集上微調。
這是走出小樣本情境最可信的途徑，也與遷移學習近親：兩者都重用在別處學到的結構，使稀少的標籤只需指定最後一哩，而非整張地圖。
前置任務目標：遮罩與對比
遮罩建模遮住訊號的一部分——時間片段、整條通道、或離散化的詞元——並要求模型從其餘部分預測被遮住的部分。為了填補缺口，它必須學到時間與空間結構：節律、跨通道關係、動力學。
\mathcal{L}_{\text{mask}} = \sum_{i \in \mathcal{M}} \big\| x_i - \hat x_i \big\|^2 \quad\text{(or cross-entropy over discretised tokens for } i \in \mathcal{M})只重建被遮罩的集合 M；此損失迫使編碼器對訊號的內部結構建模。
把訊號的一部分遮住，訓練模型去把空缺補回來。因為模型唯有理解訊號各部分如何相互關聯才能成功，這在完全沒有標籤的情況下教會它有用的結構。
- \mathcal{M}
- 被遮罩（隱藏）的位置集合。
- x_i,\ \hat x_i
- 位置 i 的真實值與模型的重建值。
- \big\| x_i - \hat x_i \big\|^2
- 重建的平方誤差，對所有被遮罩處加總。
就像從上下文猜出句子裡被挖空的一個字——這正是遮罩建模的想法。
對比學習採取互補的做法：把同一片段的兩個增強視圖的表徵拉近，把不同片段的視圖推遠。學到的表徵於是對增強變得不變，並對區分片段的因素變得敏感。
\mathcal{L}_{\text{InfoNCE}} = -\log \frac{\exp\!\big(\mathrm{sim}(q, k^{+})/\tau\big)}{\sum_{k} \exp\!\big(\mathrm{sim}(q, k)/\tau\big)}InfoNCE 對比損失；溫度 tau 決定正例與負例被分離的銳利程度。
把一個查詢拉近它唯一相配的正例，並推離所有負例。模型因此學到「相關樣本會聚在一起」的表徵，而溫度 \tau 控制負例被推開的嚴厲程度。
- q,\ k^{+}
- 查詢表徵，以及它真正相配的正例。
- \mathrm{sim}(q, k)
- 查詢與某個鍵之間的相似度（例如點積）。
- \tau
- 溫度：\tau 越小，對比越銳利。
同一段 EEG 片段的兩個增強視圖是正例；來自其他試次的片段是負例——這是對比學習的基礎。
神經資料的 Transformer
Transformer 以注意力取代循環：每個時間步都直接關注其他每一步，因此長程依賴只隔一跳、而非許多循環步，且計算可跨序列平行化。
\mathrm{Attention}(Q, K, V) = \mathrm{softmax}\!\left(\frac{Q K^\top}{\sqrt{d_k}}\right) V縮放點積注意力：每個查詢以其與鍵的學習相似度為權重，匯集各個值。
每個位置（一個查詢）掃視所有位置（那些鍵），為每個鍵評出相關度，把分數轉成權重，再對它們的值取加權混合。這讓模型能從序列的任何地方擷取資訊，而不只是鄰近處。
- Q,\ K,\ V
- 查詢、鍵、值——都是輸入的學習投影。
- Q K^\top
- 每個查詢對每個鍵的相似度。
- \sqrt{d_k}
- 一個縮放因子，避免分數變得過大。
- \mathrm{softmax}
- 把分數轉成加總為 1 的注意力權重。
在「the cat that chased the mouse」裡，「chased」可以強烈關注「cat」——這是Transformer 的引擎。
神經資料 Transformer（NDT）正是把這套應用到群體放電，平行地推論所有時間步的潛在狀態——推論時遠比 LFADS 的序列展開更快，同時透過對神經元與時間的遮罩建模目標，捕捉同一類潛在動力學。
邁向神經基礎模型
這場賭注的宏大版本是神經基礎模型：在眾多受試者、場次與任務上預訓練單一個大型模型，再廉價地將其自適應到每個新用途。若它對大腦如同對文字般奏效，一位新受試者所需的校準也許就從數小時縮短為數分鐘。
它真的能遷移嗎？
誠實地說：自監督預訓練在有標籤資料非常稀少、且未標籤資料池龐大並與目標高度匹配時最有幫助。一旦強力的古典基線已捕捉到結構，增益便縮小甚至消失。看清此效果的正確方式是一條標籤效率曲線——準確率相對於有標籤試驗數——預訓練會表現為曲線向左平移。