統計解碼與機器學習基礎

二項式機遇水準

機遇準確率等於 1/類別數 的天真假設只是期望值;在有限測試集下,真正隨機解碼器的準確率是一個服從二項分布的隨機變數,具有可觀的離散。對 N 個測試試次與 K 個類別,機遇準確率的標準差為 sqrt(p(1 − p)/N),其中 p = 1/K,故小測試集有很寬的機遇區間——二類問題僅 40 個測試試次時,準確率在 5% 顯著水準下可因機遇而高達約 65%。

實務後果為:報告機遇的信賴上界(由二項分布或置換虛無而得),而非點值 1/K;對小測試集上的高準確率保持懷疑;並偏好考量 K 與 N 的資訊型或機遇校正型指標。二項界假設測試試次獨立,故時間相依會使真實區間更寬。

常見錯誤是因解碼器勝過 1/K 便宣稱其高於機遇,卻忽略 1/K 周圍的信賴區間可能已包含所報告的值。務必與區間比較,而非與平均比較。

又称
theoretical chance levelabove-chance significance理論機遇水準