JOVANA
Explore Library Glossary Getting Started Three Levels Fields How it works Mission
Join the mission
All guides

解碼器就是一個估計量:偏差、變異數與維度詛咒

把第一冊的「分類器」重新理解為統計估計量,認識支配每個解碼器的偏差–變異數權衡,並看清神經資料為何違反直覺。

從分類器到估計量

在第一冊裡,解碼器是一個把特徵轉成標籤的黑盒子。要以研究生的層次思考它,就把它提升為統計估計量:一個由有限且含噪資料擬合而成的函數 \hat f,任務是逼近從大腦狀態到意圖的未知對應。所有真正重要的事——準確率、校準、遷移能力——都是 \hat f 逼近該對應之優劣的性質,而非它在單一試次上碰巧輸出的標籤。

這種轉變並非表面功夫。它告訴我們該優化什麼(在我們終將遇到之母體試次上的期望誤差,而非眼前這些),會出什麼錯(過度擬合與擬合不足),以及如何誠實地檢驗(第 3、4 篇)。神經解碼說到底,是一個統計條件異常嚴苛的估計問題。

偏差–變異數權衡

期望預測誤差可分解為三部分:你永遠無法擊敗的不可約噪聲;偏差,來自模型過於死板、無法捕捉真相;以及變異數,來自模型過於靈活、以致追逐你這份特定校準資料中的噪聲。

\mathbb{E}\big[(y-\hat f(x))^2\big]=\underbrace{\sigma^2}_{\text{irreducible}}+\underbrace{\big(\mathbb{E}[\hat f(x)]-f(x)\big)^2}_{\text{bias}^2}+\underbrace{\operatorname{Var}\!\big[\hat f(x)\big]}_{\text{variance}}

期望誤差的三個項。解碼器是偏差–變異數曲線上的一點;正則化(第 2 篇)就是在滑動這個點。

一個模型的期望誤差可拆成三部分:永遠無法移除的雜訊、模型太簡單造成的誤差(偏差),以及模型太跳動或過擬合造成的誤差(變異)。每個好的解碼器都是後兩者之間選定的一個平衡。

\sigma^2
無法降低的雜訊下限——任何模型所能達到的極限。
\text{bias}
模型平均預測與真實值之間的系統性落差。
\operatorname{Var}[\hat f(x)]
當訓練資料變動時,預測擺動的幅度。
\hat f(x)
模型在輸入 x 的預測。

參見偏差–變異權衡:加入正則化會稍微提高偏差,以換取變異大幅下降。

偏差–變異數權衡是整條軌的總旋鈕。由於試次少、通道多,BCI 的危險幾乎總是在變異數這一側:一個在校準時看似出色、上線後卻崩潰的解碼器。本軌幾乎每項技術——收縮、交叉驗證、排列檢定——都是為了偵測或抑制這種變異數而存在。

神經資料為何違反直覺:p ≫ n

一次運動想像實驗也許只給你 n\approx 100200 個帶標籤的試次。而 62 通道 × 數個頻帶的特徵向量,或逐通道的共變異數,維度 p 動輒數百甚至上千。當 p 逼近或超過 n 時,樣本共變異數矩陣會奇異、距離會聚攏,線性模型能完美擬合訓練集卻學不到任何可泛化的東西。

LDA:判別解碼的主力

線性判別分析之所以至今仍是 BCI 的預設分類器,是因為它是變異數最低的合理模型。假設每個類別皆為高斯分布、各有自己的平均 \mu_k 但共用一個共享共變異數 \Sigma;貝氏定則便給出一個線性決策邊界,其參數只有各類平均、共享共變異數與類別先驗。

\delta_k(x)=x^{\top}\Sigma^{-1}\mu_k-\tfrac{1}{2}\mu_k^{\top}\Sigma^{-1}\mu_k+\log\pi_k,\qquad \hat y=\arg\max_k\ \delta_k(x)

LDA 判別函數。把 x 指派給分數最大的類別。整個模型都寄託在一個矩陣反元素 \Sigma^{-1} 上——而這正是高維災難下手之處。

LDAx 與各類別平均的吻合程度替每個類別打分,並以資料的共同分散度與類別的常見程度加權;取分數最高者。一切都寄託在對 \Sigma 求反元素上,而這正是高維難題咬人之處。

\mu_k
類別 k 的平均特徵向量。
\Sigma^{-1}
共同共變異數的反元素——用來白化並重新加權各方向。
\pi_k
類別 k 的先驗機率(基礎比率)。
\delta_k(x)
類別 k 得到的分數;勝出者即為標籤。

當通道數多於試次時,\Sigma^{-1} 會爆掉——即維度詛咒——這也是下一篇要對它收縮的原因。

噪聲中的訊號:平均換來什麼

在估計決策邊界之前,我們必須先估計一個特徵,而特徵本身就是含噪的平均。最清楚的例子是誘發反應:任何單一ERP試次都被持續性活動淹沒,但對 N 個試次做同調平均,會抑制零均值的噪聲,同時讓時間鎖定的訊號存活。

\mathrm{SNR}_{N}=\sqrt{N}\,\mathrm{SNR}_{1}\qquad\Longleftrightarrow\qquad \sigma_{\bar x}=\frac{\sigma}{\sqrt{N}}

√N 定律:平均 N 個試次可將振幅訊雜比提升 √N。訊雜比翻倍需要 4 倍資料——這種殘酷的匯率形塑了每一個 BCI 設計。

同樣的 \sqrt{N} 定律:平均 N 個試次可把雜訊振幅砍為 1/\sqrt{N}。殘酷的地方在於匯率——訊雜比翻倍要付出 4 倍的資料。

N
被平均的試次數。
\mathrm{SNR}_{1}
單一試次的訊雜比。
\sigma_{\bar x}
平均後訊號的雜訊水準。
\sigma
單一試次的雜訊水準。

蒐集 4 倍試次,訊雜比也只翻一倍——這是每個 BCI 設計都得預留餘裕面對的天花板。

逐一加入含噪的單一試次,看著P300浮現;訊雜比讀數會依循 √N 定律。留意其邊際遞減——這正是快速拼字器需要聰明的解碼、而非單靠更多重複的原因。

這個教訓可以推廣:訊雜比是解碼的貨幣,它隨資料次線性成長,而且沒有任何分類器能救回平均階段已丟棄的資訊。估計量思維比多數人以為的早了一層——始於特徵。