統計解碼與機器學習基礎
置換檢定
一種無母數顯著性檢定,藉由反覆洗牌標籤、重跑整條交叉驗證管線並記錄每次洗牌下的分數(如解碼準確率),建立統計量的虛無分布。經驗 p 值為達到或超過觀察分數的置換比例。它不作高斯假設,且關鍵在於能吸收管線帶有的任何樂觀偏誤——只要置換尊重資料的相依結構。
微妙之處在維持可交換性:標籤必須在獨立單位層級(整個輪次或區塊,而非各個自相關的取樣)置換,否則虛無分布本身變得過度樂觀、檢定失去效力。基於叢集的置換將此推廣到在眾多時間—頻率—通道點上控制族錯誤率,而不假設其相關結構。
某解碼器在 120 試次上達 58% 的二類準確率。這是否高於機遇?在 5000 次尊重輪次的標籤置換下,虛無分布的第 95 百分位為 61%,故 58% 並不顯著,儘管它超過了天真的 50% 機遇線。
與經驗虛無比較,而非與 1/K 比較。
置換檢定回答的是資訊是否存在,而非是否有用。一個統計上顯著的 55% 解碼器在臨床上可能毫無價值。
又稱
另見