機器學習維運與生產
模型可觀測性(model observability)
監控告訴你出了問題;可觀測性則讓你能追問為什麼,而不必為了找答案而上線新程式碼。模型可觀測性借用系統工程的概念,把一個已部署的模型儀表化得極為豐富——輸入、輸出、中間特徵、信心度、延遲與下游結果——讓你能在事後盤問任何非預期的行為。當準確度每逢週二就下滑,可觀測性正是讓你能依區隔、特徵與時間切片,定位出那個族群與成因,而不只是確認下滑這件事。
實務上,這意味著把每一筆預測連同其完整特徵向量與中繼資料一起記錄,然後支援多維切分分析:各區隔的效能、特徵歸因與分布的逐層下探、校準曲線、離群值與嵌入聚類檢視,以及把預測連結到延遲到來的真實標籤的能力。它與單純監控的對比在於深度:監控盯著一組固定的彙總指標,可觀測性則保留足夠細緻、可查詢的細節,讓你能回答當初建儀表板時未曾預期的問題。
無法迴避的張力是資料量與成本。在規模上記錄每個請求的每個特徵既昂貴又可能夾帶敏感資料,因此團隊會聰明地抽樣、保留嵌入或摘要而非原始酬載,並施加隱私控制。回報是可除錯性:一個你無法盤問的模型,你只能重開機然後禱告;一個可觀測的模型,則能把一次故障變成一次診斷。
又称
另见