統計解碼與機器學習基礎

超參數最佳化/模型選擇

對非學習得到的組態——正則化強度、CSP 成分或所選通道數、頻帶、核寬、網路深度——的搜尋,這些組態支配管線的容量。策略從網格搜尋(在離散化空間上窮舉,簡單但隨超參數數目指數成長)、隨機搜尋(當僅少數超參數重要時常更有效率),到貝氏最佳化(以代理模型提出有前景的組態,當每次評估昂貴時有價值)。

不可違反的原則是選擇必須僅用訓練資料、經內層驗證迴圈進行;將最佳組態自身的驗證分數當作表現來報告是樂觀偏誤,其修正即巢狀交叉驗證。在小型 BCI 校正集下,選擇本身即含雜訊,故在良好先驗上做粗略搜尋(如以解析 γ 的收縮 LDA)常勝過在驗證折上過度擬合的窮舉搜尋。

你每多調一個超參數,就多一條過度擬合驗證資料的途徑。資料稀少時,偏好超參數少或以解析法設定的方法;你花在搜尋上的自由度並非免費。

又称
grid searchrandom searchBayesian optimization網格搜尋隨機搜尋