神經資料的基礎模型與表徵學習
不限通道架構
指能接受數量與身分皆可變之輸入通道或神經元、而不需固定且有序輸入層的模型,使單一模型得以橫跨不同佈局與產出的陣列。訣竅是把族群視為無序集合:每個單元成為一個攜帶學習到身分嵌入的詞元,而注意力——常是進入固定大小潛在瓶頸的交叉注意力,即 POYO 所採用的 PerceiverIO 風格——對輸入的數量與順序不變。這正是跨場次與跨受試者基礎模型背後的架構致能因素。
與此對照的是傳統解碼器(卡爾曼濾波器,或作用於固定神經元向量的多層感知器),它們每天都需要相同順序的相同神經元,通道集合一變就失效。把輸入視為集合而非向量,正是讓預訓練得以匯集許多互不相容的紀錄、並讓新場次能以新增嵌入而非重建模型方式納入的關鍵。
又称
另见