神經活動的遮罩建模

一種 BERT 式的前置任務：遮蔽神經陣列的一個子集，訓練模型從周圍脈絡重建它。對尖峰而言，重建通常是對被遮罩時間格的計數概似（卜瓦松或負二項），因此模型學會從共同活動的神經元與近期歷史推斷缺失的活動。沿哪個軸遮罩至關重要——遮罩時間格教導時間結構，而遮罩整個神經元則教導跨神經元結構，並直接演練填補脫落或新出現單元的能力。

多任務遮罩（MtM）將此推廣，隨機同時沿多個軸（時間、神經元、腦區）遮罩，促使模型能從族群的任一部分推斷任一其他部分——作者將此比喻為神經動力學的「通用翻譯器」。正是這種遮罩神經元的能力，將遮罩預訓練與電極產出可變、跨場次單元更替等實務問題連結起來。