潛在動力學、系統辨識與進階估計
深度狀態空間模型(S4/結構化 SSM)
深度狀態空間模型將古典的線性狀態空間遞迴(x_t = A x_{t-1} + B u_t、y_t = C x_t)堆疊成可訓練的神經網路層,使網路能以卷積般的線性時間、可平行化結構在極長序列上傳遞資訊,避開 RNN 逐步遞迴的瓶頸。結構化狀態空間序列模型(S4,Gu 等人)及其後繼者(S4D、S5,以及具選擇性的 SSM Mamba)之所以能做到,是靠對 A 施加結構化參數化——尤其是 HiPPO 初始化,使隱藏狀態成為輸入的線上正交多項式記憶——並高效計算其誘導出的卷積核。
對神經介面而言,其吸引力有二:神經紀錄是長時、多通道且依賴跨越數秒的時間序列,而結構化 SSM 提供了一個有原則的長記憶骨幹,在長脈絡下比注意力機制更省算力。已有新興工作將 SSM 骨幹用於腦電、皮質腦電與尖峰資料的解碼與自監督預訓練。值得將本領域重載使用的兩種「狀態空間」意義分清楚:深度學習的 SSM 是一種序列建模架構,而機率式的潛在狀態空間模型(如 Kalman/EM 推論中的)則是神經歷程的生成模型。S4 式的層通常是確定性的,本身並不提供校準過的不確定性,也不給出可詮釋的潛在動力學定律。
能擬合長序列不等於還原了大腦的動力學;一個擬合良好的 S4 解碼器可以很準確,但在機制洞見上未必比 LSTM 多。
又稱
另見