神經形態與邊緣協同處理器

脈衝神經網路的替代梯度訓練

脈衝神經元發放離散、不可微分的脈衝,故一般的反向傳播無法讓梯度穿過閾值。替代梯度方法在反向傳遞時,以一個平滑的替代函數(例如膜電位的快速 sigmoid 或三角函數)取代脈衝為零或無窮的導數,而前向傳遞仍照常發放脈衝。這使脈衝網路能像遞迴網路一樣以時間反向傳播進行訓練,目前是從零訓練出準確脈衝解碼器最有效的方式。

替代函數的形狀、時間離散化,以及如何處理時間信用分配,都會影響準確度與成本,且訓練仍比標準網路更為精細且耗記憶體。它是把預訓練類比網路轉換為脈衝之外的主要替代方案。