漏電積分發放神經元
脈衝神經網路解碼器並非以連續激活值、而是以時間中的離散脈衝來運算,恰如它所讀取的生物體。其主力單元是漏電積分發放(LIF)神經元:它對流入電流進行積分、朝靜止電位漏電,並在膜電位穿越閾值時發放一個脈衝,隨後重置。
LIF 動力學:膜時間常數 au_m 決定神經元遺忘的速度,輸入電流 I(t) 推升其電位,而閾值與重置使它成為一個事件發射器。將這些單元以加權脈衝連接堆疊,便得到一個在建構上即稀疏且非同步的解碼器。
穿越不可微分脈衝的訓練
脈衝是全有全無的,因此脈衝函數的導數幾乎處處為零、卻在閾值處為無限大——一般的反向傳播無法流經它。有兩條路徑可繞過此難題。替代梯度訓練在前向傳遞中保留硬脈衝,卻在反向傳遞中代之以一個平滑、性質良好的導數,使標準深度學習工具得以直接訓練該網路。
一個典型的替代梯度:一個以閾值為中心的平滑隆起,在反向傳播期間替代脈衝真正(退化)的導數。銳度 $eta$ 在梯度的局部性與訓練穩定性之間權衡。
第二條路徑是人工神經網路轉脈衝神經網路:先以成熟工具訓練一個普通的速率型網路,再把其激活值映射為等效脈衝網路中的脈衝率。轉換簡單且能重用龐大的工具鏈,但往往需要許多時間步(因而許多脈衝、因而許多能量)才能匹配原本的準確度,這在一定程度上削弱了效率上的動機。替代梯度訓練通常能產生更稀疏、更低延遲的網路,但調校起來較為棘手。
在植入體上學習
最具野心的一根支柱是晶上學習:在植入體本地就地調整解碼器,而不必把神經資料送往雲端。局部規則——脈衝時序依賴可塑性,或以全域成功訊號閘控可塑性的三因子/獎勵調變規則——可實作於突觸元件本身之中,使權重就在其儲存之處更新。
誠實的但書是:硬體內學習比指南 3 所述更嚴苛地考驗那些類比非理想效應——不對稱、非線性的電導更新會使梯度型規則失常,而迄今的展示都規模不大、且多在離體環境進行。
真實的晶片,及其運行之處
具體的神經形態平台確實存在——其中有數位脈衝處理器與混合訊號晶片,還有研究用的憶阻式原型。有一個常被行銷話術模糊的事實必須說清楚:迄今幾乎所有腦機介面展示,都是把脈衝解碼器運行在這類位於體外、連接到已錄製或串流資料的晶片上,而非運行在顱內的晶片上。植入式的神經形態解碼器至今仍大致停留在願景階段。
脈衝解碼器與第二冊的傳統解碼器相比如何?在較簡單的運動任務上,一個訓練良好的脈衝神經網路可逼近 循環神經網路 或 以 Transformer 為基礎的解碼器 的準確度;在較困難的問題上則通常仍居下風。因此其價值主張罕在於原始準確度——而在於以極低的能量與延遲達成相當的準確度,這正是植入體所在乎的貨幣。