JOVANA
Explore Library Glossary Getting Started Three Levels Fields How it works Mission
Join the mission
All guides

閉合迴路:ReFIT、CLDA 與雙學習者問題

為何離線訓練的解碼器線上表現不如預期,以及意圖修正與迴路內適應如何弭平大部分落差。

離線—線上落差

在開迴路校準資料上擬合解碼器,它也許能漂亮地重建保留的動作學參數——然後在使用者實際驅動即時游標的當下卻顯得遲鈍、偏斜或難以操控。兩股力量造成此現象。(1)分布偏移:開迴路校準的統計特性(使用者觀看重播動作)不同於解碼器隨後運行的閉迴路統計特性。(2)使用者身在迴路中:他們對解碼器自身的誤差作出反應,因此控制期間的神經資料有一部分是對解碼器本身的回應。

意圖估計與 ReFIT

ReFIT的洞見簡單得令人意外。在目標已知的校準區段中,你可以推測使用者的真實意圖速度:無論其速率多少,其方向幾乎肯定是筆直朝向目標。於是你取解碼得到的速度,保留其大小但把方向旋轉至朝向目標,並在這些意圖修正後的動作學參數上重新擬合編碼模型。對同一批資料做第二輪、此時標記以更佳意圖,便能得到明顯更易操控的解碼器。

\tilde{\mathbf{v}}_k = \lVert\hat{\mathbf{v}}_k\rVert\;\frac{\mathbf{p}^{\mathrm{tgt}} - \mathbf{p}_k}{\lVert\mathbf{p}^{\mathrm{tgt}} - \mathbf{p}_k\rVert}

意圖修正速度:保留解碼速率,將方向重新導向目標,再以這些標籤重新擬合解碼器(ReFIT)。

在重新訓練閉環解碼器時,ReFIT 假設使用者始終想直直朝目標前進。於是它保留解碼出的速率,但把方向轉向目標,再用這些清理過的標籤重新配適。

\tilde{\mathbf{v}}_k
作為訓練標籤的意圖修正速度。
\lVert\hat{\mathbf{v}}_k\rVert
解碼出的速率,保持不變。
\mathbf{p}^{\mathrm{tgt}} - \mathbf{p}_k
從目前游標位置到目標的向量。
\frac{\mathbf{p}^{\mathrm{tgt}} - \mathbf{p}_k}{\lVert\mathbf{p}^{\mathrm{tgt}} - \mathbf{p}_k\rVert}
指向目標的單位向量。

游標飄到左上,但目標在右上;ReFIT 把意圖方向重新標為右上、速率不變。

這是一種意圖估計:不再把使用者帶雜訊的實際游標路徑當作訓練標籤,而是推斷其背後目標導向的意圖。同一家族的相關技巧還假設使用者始終意圖移動(因此零速度樣本被降權),並修正關於游標實際位置的回饋。

CLDA:在迴路中適應解碼器

ReFIT 是一次性的重新校準;閉迴路解碼器適應(CLDA)則使其連續化。當使用者進行控制時,你從近期的意圖修正資料重新估計解碼器參數,並把新估計混合進運行中的解碼器,使其永不突然跳動。這正是單次任務能快速啟動(先粗略、再即時銳化)並在緩慢漂移中存活的方式。

\Theta_n = (1-\alpha)\,\Theta_{n-1} + \alpha\,\hat{\Theta}_n^{\mathrm{batch}}

SmoothBatch 式的 CLDA:把新擬合的參數以指數方式混入即時解碼器;速率 \alpha 在適應速度與穩定性之間取捨。

與其突然換上一個剛配適好的解碼器,不如用指數平均把它溫和地混入目前的解碼器。混合率 \alpha 在「適應得快」與「保持穩定」之間權衡。

\Theta_n
n 次更新後的即時解碼器參數。
\hat{\Theta}_n^{\mathrm{batch}}
在最新一批資料上剛配適出的參數。
\alpha
混合率:接近 0 慢而穩,接近 1 快而跳。

\alpha \approx 0.1 時,每次更新只把解碼器往新配適移動十分之一——這就是閉環解碼器適應

混合速率 \alpha 本身就是設計張力:適應太快,解碼器會追逐雜訊(並可能與使用者破壞性地共適應);太慢則永遠追不上漂移。這是自適應解碼重新校準的縮影——一個在前沿章節達到高潮的主題。

兩個學習者同時運作

微妙之處在此。當你的 CLDA 適應解碼器時,使用者的大腦也在適應解碼器——這就是BMI 技能學習皮質可塑性。兩個相互追逐的耦合學習者即為雙學習者問題:做得好時是共適應,控制改善的速度超過任一方單獨所能達成;做得差時兩種適應相互對抗,系統振盪或漂移。實務上通常的化解之道是先讓解碼器快速適應,再凍結或放慢它,好讓使用者能對一個穩定不變的目標建立起穩定的內部模型。

帶著迴路的觀點重訪游標:在此調整雜訊參數,正是 CLDA 自動轉動的旋鈕——感受更靈敏的解碼器如何改變身為共適應使用者的你所必須做的事。