決策規則 (argmax 預測)

決策規則是常被忽略的最後一步,它把模型連續的輸出分數轉成單一、離散的預測。對標準的單標籤分類而言,這個規則就是 argmax:在 C 個類別分數之中,預測數值最大的那個類別。由於 softmax 是單調的,對 logits 取 argmax 與對 softmax 機率取 argmax 會得到相同的類別,因此對單純的前 1 預測,你甚至不需要去計算 softmax。

argmax 在一個特定、通常未明說的假設下是最佳規則:即每一種錯誤的代價都相同(對稱的 0/1 損失),而你只是想最大化準確率。在那些條件下,預測最可能的類別會使期望錯誤最小。一旦那個假設破裂,argmax 就不再是最佳的,而能認出這一點,正是謹慎的實務者與天真者之間的分野。

當各種錯誤代價不等時(例如漏掉一個腫瘤比誤報更糟),或當部署時的類別先驗與訓練時不同時,或當你必須對低信心的輸入棄權時,你就要把單純的 argmax 換成帶門檻、依代價加權,或具拒絕選項的規則。對多標籤問題而言,argmax 根本就是錯的,你應改為對每個獨立的 sigmoid 設門檻。因此,決策規則是一個刻意的設計選擇,而不是自動的事後補充。