神經資料的基礎模型與表徵學習
神經資料的自監督預訓練
透過解一個不需行為標記的前置任務,從未標記的神經紀錄中學習表徵:遮罩並重建被隱藏的活動、預測下一個時間步,或以對比目標塑造嵌入的幾何。其動機是經濟性的:對齊且已標記的神經資料(活動與良好量測的行為配對)稀少且昂貴,而原始紀錄則持續累積,因此把學習的主體壓在未標記資料上。
前置任務族與機器學習其他領域相呼應。生成與重建型目標(Neural Data Transformer 的遮罩放電率建模)對留出的活動擬合一個概似;對比型目標(BENDR 的 wav2vec 式方案、CEBRA)在不重建的情況下把相關樣本拉近;預測型目標則預報未來活動。相對於從零訓練的增益確實存在,但通常有限且視任務而定,當目標任務的標記資料本已充足時,增益會縮小。
又称
另见