評估、穩健性與倫理

分佈外偵測

分佈外偵測賦予模型說「我不知道」的能力。一個普通分類器被迫把每個輸入都歸入它已知的某一類別,因此當它遇到從未訓練過的東西——一種新動物、一張損壞影像、垃圾資料、或一次攻擊——它仍會自信地輸出某個標籤,且常帶高信心。分佈外偵測在分類器下定論之前加上一道閘門:它標出與訓練資料太不相像的輸入,使系統得以棄答、交還給人類、或求助,而非犯下自信而危險的錯誤。

核心難處在於深度網路在遠離其訓練分佈的輸入上出了名地過度自信——即使面對純雜訊或陌生物件,softmax 機率也會飽和到接近 1,因此天真地信任模型的信心度並不可行。於是任務變成設計一個能把分佈內(ID)與分佈外(OOD)輸入分開的分數:在 OOD 上低、在 ID 上高,再用一個閾值把分數轉成接受/拒絕的決策。由於 OOD 資料依定義是未知且無界的,你無法把它窮舉;你必須僅憑 ID 訓練資料刻畫「正常」,並把所有與之相距夠遠者判為 OOD。

方法可分成幾個家族。基於信心度/logit 的分數會後處理一個訓練好的分類器:最大 softmax 機率(基線)、ODIN(溫度縮放加上輸入擾動以拉大 ID/OOD 落差)、能量分數(一個源自 logit、與資料密度有更乾淨理論關聯的量)、以及特徵空間中的馬氏距離(Mahalanobis,特徵向量距「在訓練特徵上擬合的最近類別條件高斯」有多遠)。密度與重建方法直接建模 P(x),或量測自編碼器重建一個輸入的好壞。離群暴露(outlier exposure)方法則藉由針對一組已知離群替身做訓練來改善偵測器。關鍵在於:OOD 效能是當作偵測問題來量測的——AUROC、AUPR,以及在 95% 真正例率下的假正例率(FPR@95)——與分類器的乾淨準確率分開計算。

分佈外偵測位於「安全的開放世界部署」之核心,並與數個鄰近問題重疊:異常/新奇偵測(工業瑕疵檢出)、開放集辨識(正確分類已知類別、同時拒絕未知類別)、選擇性預測(不確定時棄答)。它最重要之處,恰恰是在自信錯誤代價高昂的地方——醫學影像系統遇上它從未見過的疾病、感知系統在路上遇到陌生物件、內容過濾器面對新型操弄。一個揮之不去、令人謙卑的研究發現是:某些強大的密度模型竟可能給 OOD 輸入比 ID 輸入更高的似然,因此這個領域把 OOD 偵測視為一個尚未解決、仍在積極做基準的問題,而非已蓋棺論定者。

評估很脆弱:一個 OOD 偵測器回報的 AUROC 完全取決於它是針對哪個 OOD 資料集測試(近端 OOD,例如 CIFAR-10 對 CIFAR-100,遠比遠端 OOD,例如 CIFAR 對雜訊,困難得多)。在遠端 OOD 拿高分的偵測器,可能在語意相近的近端 OOD 上失敗,因此務必在多個、多樣的 OOD 集合上回報結果。

又称
OOD detectionnovelty detectionanomaly detectionopen-set recognition