前 k 準確率 (top-k accuracy)

前 k 準確率衡量的是:模型對一張影像給出的分數最高的 k 個預測中,正確類別出現的頻率有多高,而不是要求它必須是唯一最高的那個。當 k 等於 1 時,這就是一般的準確率:只有當模型的首選與標籤一致時,該預測才算正確。當 k 等於 5 時,只要真實類別出現在模型最好的五個猜測中的任何位置,該預測就算正確。

它之所以成為 ImageNet 的標準回報指標,正是因為 ImageNet 有 1000 個細緻且常常彼此重疊的類別,包括許多犬種與數十種相似的車輛,而單一張影像可能合理地含有數個可被標註的物體,卻只帶有一個真實標籤。前 5 準確率會原諒一個把正確答案排在第二或第三、僅次於某個確實合理的替代選項的模型,因此比單看前 1 準確率,能給出較不脆弱的辨識品質樣貌。

計算前 k 準確率的方法是:把各類別分數由大到小排序,取前 k 個類別索引,檢查真實標籤是否在這個集合中;再把這個 0/1 結果在測試集上取平均。務必標明你使用的 k 值,因為前 1 與前 5 的數字並不可直接相比。另外要注意,前 k 準確率完全沒有說明分數的信心或校準程度:一個模型可以有優異的前 5 準確率,卻有嚴重失準的機率。