從分類器到估計量
在第一冊裡,解碼器是一個把特徵轉成標籤的黑盒子。要以研究生的層次思考它,就把它提升為統計估計量:一個由有限且含噪資料擬合而成的函數 \hat f,任務是逼近從大腦狀態到意圖的未知對應。所有真正重要的事——準確率、校準、遷移能力——都是 \hat f 逼近該對應之優劣的性質,而非它在單一試次上碰巧輸出的標籤。
這種轉變並非表面功夫。它告訴我們該優化什麼(在我們終將遇到之母體試次上的期望誤差,而非眼前這些),會出什麼錯(過度擬合與擬合不足),以及如何誠實地檢驗(第 3、4 篇)。神經解碼說到底,是一個統計條件異常嚴苛的估計問題。
偏差–變異數權衡
期望預測誤差可分解為三部分:你永遠無法擊敗的不可約噪聲;偏差,來自模型過於死板、無法捕捉真相;以及變異數,來自模型過於靈活、以致追逐你這份特定校準資料中的噪聲。
\mathbb{E}\big[(y-\hat f(x))^2\big]=\underbrace{\sigma^2}_{\text{irreducible}}+\underbrace{\big(\mathbb{E}[\hat f(x)]-f(x)\big)^2}_{\text{bias}^2}+\underbrace{\operatorname{Var}\!\big[\hat f(x)\big]}_{\text{variance}}期望誤差的三個項。解碼器是偏差–變異數曲線上的一點;正則化(第 2 篇)就是在滑動這個點。
一個模型的期望誤差可拆成三部分:永遠無法移除的雜訊、模型太簡單造成的誤差(偏差),以及模型太跳動或過擬合造成的誤差(變異)。每個好的解碼器都是後兩者之間選定的一個平衡。
- \sigma^2
- 無法降低的雜訊下限——任何模型所能達到的極限。
- \text{bias}
- 模型平均預測與真實值之間的系統性落差。
- \operatorname{Var}[\hat f(x)]
- 當訓練資料變動時,預測擺動的幅度。
- \hat f(x)
- 模型在輸入 x 的預測。
參見偏差–變異權衡:加入正則化會稍微提高偏差,以換取變異大幅下降。
偏差–變異數權衡是整條軌的總旋鈕。由於試次少、通道多,BCI 的危險幾乎總是在變異數這一側:一個在校準時看似出色、上線後卻崩潰的解碼器。本軌幾乎每項技術——收縮、交叉驗證、排列檢定——都是為了偵測或抑制這種變異數而存在。
神經資料為何違反直覺:p ≫ n
一次運動想像實驗也許只給你 n\approx 100–200 個帶標籤的試次。而 62 通道 × 數個頻帶的特徵向量,或逐通道的共變異數,維度 p 動輒數百甚至上千。當 p 逼近或超過 n 時,樣本共變異數矩陣會奇異、距離會聚攏,線性模型能完美擬合訓練集卻學不到任何可泛化的東西。
LDA:判別解碼的主力
線性判別分析之所以至今仍是 BCI 的預設分類器,是因為它是變異數最低的合理模型。假設每個類別皆為高斯分布、各有自己的平均 \mu_k 但共用一個共享共變異數 \Sigma;貝氏定則便給出一個線性決策邊界,其參數只有各類平均、共享共變異數與類別先驗。
\delta_k(x)=x^{\top}\Sigma^{-1}\mu_k-\tfrac{1}{2}\mu_k^{\top}\Sigma^{-1}\mu_k+\log\pi_k,\qquad \hat y=\arg\max_k\ \delta_k(x)LDA 判別函數。把 x 指派給分數最大的類別。整個模型都寄託在一個矩陣反元素 \Sigma^{-1} 上——而這正是高維災難下手之處。
噪聲中的訊號:平均換來什麼
在估計決策邊界之前,我們必須先估計一個特徵,而特徵本身就是含噪的平均。最清楚的例子是誘發反應:任何單一ERP試次都被持續性活動淹沒,但對 N 個試次做同調平均,會抑制零均值的噪聲,同時讓時間鎖定的訊號存活。
\mathrm{SNR}_{N}=\sqrt{N}\,\mathrm{SNR}_{1}\qquad\Longleftrightarrow\qquad \sigma_{\bar x}=\frac{\sigma}{\sqrt{N}}√N 定律:平均 N 個試次可將振幅訊雜比提升 √N。訊雜比翻倍需要 4 倍資料——這種殘酷的匯率形塑了每一個 BCI 設計。
同樣的 \sqrt{N} 定律:平均 N 個試次可把雜訊振幅砍為 1/\sqrt{N}。殘酷的地方在於匯率——訊雜比翻倍要付出 4 倍的資料。
- N
- 被平均的試次數。
- \mathrm{SNR}_{1}
- 單一試次的訊雜比。
- \sigma_{\bar x}
- 平均後訊號的雜訊水準。
- \sigma
- 單一試次的雜訊水準。
蒐集 4 倍試次,訊雜比也只翻一倍——這是每個 BCI 設計都得預留餘裕面對的天花板。
這個教訓可以推廣:訊雜比是解碼的貨幣,它隨資料次線性成長,而且沒有任何分類器能救回平均階段已丟棄的資訊。估計量思維比多數人以為的早了一層——始於特徵。