分類的模型集成 (model ensembling)

集成把數個模型的預測合併成一個,幾乎總能在準確率與校準上勝過任何單一成員。分類器的標準做法是軟投票:把各成員預測的機率向量平均起來,再取這個平均的 argmax。硬投票(每個模型為它的首選類別投一票、多數獲勝)是另一種選擇,但它丟棄了軟投票所利用的信心資訊。

它之所以有效,是因為各自獨立的模型會犯下部分獨立的錯誤。如果每個模型單獨來看都準確,而它們的錯誤又並非完全相關,平均就會抵銷不相關的誤差成分,同時保留共有的正確訊號;這正是讓多個帶雜訊估計值的平均比其中任何一個都更可靠的那套偏差-變異邏輯。因此,效益會隨成員之間的多樣性而增長,而你可以藉由變化架構、隨機種子、資料順序、擴增或訓練子集來促成多樣性。

最顯著的代價是線性的:k 個模型的集成需要 k 倍的儲存與推論計算,這在正式環境中往往無法接受。這促成了較廉價的近似法,例如快照集成(snapshot ensemble),它從一次訓練中保存數個檢查點;以及知識蒸餾,它把集成的平均預測壓縮進單一、快速的學生網路,而仍保有大部分的增益。