JOVANA
Explore Library Glossary Getting Started Three Levels Fields How it works Mission
Join the mission
All guides

解碼器究竟達成了什麼——ITR、RSA 與前沿

如何以資訊傳輸率概括 BCI 的真實吞吐量、如何用表徵分析讀出解碼器學到了什麼,以及界定研究前沿的開放問題——非平穩性、遷移與基礎模型。

資訊傳輸率

光看準確率無法比較「快而易錯」與「慢而精準」的拼字器。資訊傳輸率(ITR)把 BCI 建模為一個含噪通訊通道,將準確率、選項數與每次選擇的時間,摺合成單一的位元/分鐘數值。

B=\log_2 N+P\log_2 P+(1-P)\log_2\!\frac{1-P}{N-1}

Wolpaw 每次選擇位元數,對 N 個等機率目標、準確率 P。當 P=1 為 \log_2 N;當 P→1/N 降至 0。

一次選擇能攜帶多少資訊,取決於選項有幾個、以及你答對的頻率。完美準確率給出完整的 \log_2 N 位元;純瞎猜則給出 0。

N
可能的目標數。
P
準確率——選擇正確的機率。
B
每次選擇傳遞的資訊位元數。

4 個目標、100% 準確率時 B 為 2 位元;當準確率降到 25% 就掉到 0。它接著餵入資訊傳輸率

\mathrm{ITR}=B\cdot\frac{60}{T_{\text{sel}}}\quad[\text{bits/min}]

每次選擇位元數乘以選擇速率,得到位元/分鐘的吞吐量——比較系統時該引用的數字。

把每次選擇的位元數乘以每分鐘的選擇次數,就得到系統真正的通訊速度——比較各 BCI 時該用的公平數字。

B
每次選擇的資訊位元數。
T_{\text{sel}}
完成一次選擇所需的秒數。
\mathrm{ITR}
以位元/分鐘計的吞吐量。

每 4 秒 2 位元,即每分鐘 30 位元。

拖動準確率、類別數與選擇時間的滑桿,觀察 ITR 的反應。留意:增加類別數唯有在準確率撐得住時才有幫助,而在高準確率附近的微小提升就值很多位元。

數種類別數下的位元/分鐘對準確率曲線。曲線在頂端陡峭且會交叉——唯有在高準確率區間,較多類別才勝出。

ITR 的但書

ITR 是一個模型,而其假設經常被打破。它假設一個無記憶通道、準確率平穩、目標等機率且獨立、且無法從脈絡獲益。真實拼字器四者皆違反——語言模型會利用字母統計、錯誤會叢集、使用者會停頓。兩個 Wolpaw ITR 相同的系統,用起來的感受可能完全不同。

讀懂解碼器:表徵分析

高 ITR 只告訴你解碼器運作,卻不說它學到了什麼表徵相似性分析(RSA)不動分類器就能打開黑盒子:建立一個表徵相異矩陣(RDM)——每對條件之神經反應樣式間的兩兩距離——再把它與某個關於底層編碼之候選模型所預測的 RDM 相關聯。

d_{ij}=1-\operatorname{corr}\big(\mathbf r_i,\mathbf r_j\big),\qquad r_{\mathrm{RSA}}=\operatorname{corr}\big(\mathrm{RDM}_{\text{neural}},\ \mathrm{RDM}_{\text{model}}\big)

RDM 元素為樣式相異度;RSA 分數為神經與模型相異結構之間的相關。它比較的是幾何而非原始活動,故能跨實驗與跨受試者存活。

與其比較原始腦活動,不如比較哪些情境彼此相似、哪些不同的樣式。若腦與某模型把相同的情境歸在一起,它們就共享一種表徵——比的是幾何,而非原始訊號。

\mathbf r_i
情境 i 所誘發的活動樣式。
d_{ij}
情境 ij 之間的相異度(1 減去它們的相關)。
\mathrm{RDM}
所有配對相異度構成的完整表格。
r_{\mathrm{RSA}}
神經與模型相異度表格之間的相關。

因為比的是幾何,RSA 能跨實驗場次、甚至跨受試者存活。

RSA 把解碼重新框定為關於幾何的問題:解碼器所利用的結構,是任務相關模型所預測的那個,還是假影驅動的捷徑?它把深度解碼器的可解釋性接上古典的模型比較邏輯,也是通往鄰軌群體動力學觀點的橋樑。

開放問題

統計解碼的前沿,不是在固定資料集上做出更好的分類器——那問題大致已解決。它是跨時間的穩定性神經非平穩性共變量偏移意味著週一凍結的解碼器到週五就退化,因此真正的研究標的是無需每日監督設定、就能追蹤漂移的重新校準與自適應解碼

第二個前沿是資料稀缺。由於校準昂貴又非平穩,致勝策略是跨實驗、跨受試者、跨資料集借力:遷移學習領域適應,以及近期朝神經基礎模型的推進——在大量無標籤語料上預訓練、再對每位使用者微調。這類模型是真的泛化、還是只記住了資料集的怪癖,正是第 3、4 篇的驗證紀律所要——誠實地——裁定的問題。