統計解碼與機器學習基礎
收縮共變異數估計(Ledoit–Wolf)/收縮 LDA
樣本共變異數矩陣 S 是不偏但高變異的估計量;在高維下其極端特徵值有偏(最大者被放大、最小者被壓向零),因此取反矩陣會放大雜訊。收縮法以凸組合 (1 − γ)·S + γ·ν·I 取代 S,將特徵值拉向平均特徵值 ν 並改善反矩陣的條件數。收縮強度 γ 於 [0, 1] 之間,以偏誤換取變異。
Ledoit 與 Wolf 推導出一個解析、由資料驅動的 γ,使對真實共變異數的期望 Frobenius 誤差最小,且無需交叉驗證。將此正則化共變異數代入 LDA 即得收縮 LDA,是 ERP 與振盪型 BCI 事實上的標準線性解碼器:幾乎不需參數、在特徵多於試次時穩健,且通常以極低成本追平或勝過經交叉驗證調校的脊迴歸。
對一個 60 通道 × 10 取樣點的 ERP 特徵向量(600 維)以 200 試次訓練時,樣本共變異數為奇異矩陣、純 LDA 無定義;Ledoit–Wolf 收縮給出可逆的估計與可用的解碼器。
收縮使高維共變異數可逆。
收縮向縮放後的單位矩陣只是其中一種目標;當特徵尺度不同時,收縮向各特徵變異數的對角矩陣、或收縮向各類別共用的共變異數,可能更佳。
又称
另见