模型監控（model monitoring）
/ MOD-ul MON-ih-tur-ing /
模型監控，是這樣一樁持續不斷的實踐：盯住一個已部署、在生產裡跑著的模型，好在它開始出問題時及時發覺。模型不是那種「裝好就不用管」的家電。它訓練時所依據的那個世界，一直在變，所以一個上線時表現漂亮的模型，幾個月後可能悄無聲息地衰朽。監控，就是那套盯著這種緩慢腐爛的儀表板與警報系統，正如醫院的監護儀盯著病人的生命徵象。
它盯兩類東西。其一，是那些枯燥卻要命的運行健康：服務還活著嗎、它回應得多快、錯誤是不是在飆升？其二，也更難，是模型實打實的品質：它的預測還準嗎、它收到的輸入還是它訓練時見過的那一類嗎、它輸出的模式有沒有偏移？難就難在：在生產裡，你往往不會立刻知道正確答案——一個貸款模型預測「會還款」，可這判斷對不對，你也許好幾年都不會知道——所以監控倚靠的是「輸入漂移」「預測分布」之類的代理信號，而非直接的準確度。
為什麼這很重要：現實裡大多數機器學習的失敗，並非戲劇性的崩潰，而是悄無聲息的退化——一個仍在運行、仍在返回答案的模型，只是越來越錯，卻沒有一條錯誤消息來警示任何人。監控，是橫在你與那種看不見的衰朽之間唯一的東西。誠實的提醒是：它能告訴你「有些地方看著不對勁」，卻很少告訴你「為什麼」，它自己也修不了任何東西。它是一隻煙霧警報器，而非一名消防員——它為你買來在「一場靜悄悄的失敗釀成一場昂貴的災禍」之前作出反應的機會。
一個需求預測模型平穩跑了好幾個月，隨後一條新產品線，用一批它訓練時從沒見過的輸入把它淹沒。準確度要幾週後才能確認，但監控此刻就標出了輸入模式的驟變——給了團隊一個在錯誤預測堆積起來之前重訓的機會。
當真實準確度要等上很久才知道時，盯住輸入，才是你實際拿得到的那個早期預警。
監控發現問題，卻不診斷、也不修復它們。一條「有東西變了」的警報，仍把最難的活兒——弄清是什麼、為什麼，並決定要不要重訓——留給了人。別把一塊綠色的儀表板錯當成一個健康的模型；它頂多意味著，你恰好追蹤的那寥寥幾個信號，眼下沒有報警而已。