機器學習維運與生產
冠軍與挑戰者(champion-challenger)
模型不會永遠是最好的;世界會漂移,更好的候選者會出現。冠軍與挑戰者是一種運作模式,讓部署隨時間保持誠實:一個模型是當朝冠軍,提供大部分或全部決策,另有一個或多個挑戰者持續在生產流量上運行,並以相同的線上指標計分。挑戰者唯有在它於關鍵指標上持久地擊敗既有模型時,才會被晉升為冠軍,而後循環重來。與其說它是一次部署,不如說是一場常設的擂台賽。
在機制上,挑戰者可以透過影子方式評估(僅記錄、無風險),或透過一小片被服務的流量(金絲雀或保留組,以做無偏的結果衡量)來評估,並把比較設計成一場受控實驗,使勝出具有因果性,而非季節性或選擇偏誤造成的僥倖。此框架通常會自動化候選者登錄、流量分配、與冠軍的統計比較,以及晉升決策,讓整個生產堆疊成為一個閉環,使改進是持續的,而非每季一次的手動更換。
它所強制的紀律是選對目標,並防範指標被鑽空子。一個在狹隘的離線代理指標上勝出的挑戰者,可能在商業結果上落敗,或違反公平性或延遲護欄。成熟的冠軍挑戰者設置會以生產的北極星指標搭配明確護欄來評估,並把晉升視為可逆——因為新冠軍本身也可被挑戰並回退。
又称
另见