大型語言模型維運可觀測性（LLMOps observability）

一個大型語言模型應用並非單一預測，而是一支小程式：使用者訊息變成一個套用範本的提示，模型吐出文字，那段文字可能觸發一次檢索步驟或一次工具呼叫，結果再餵回另一個提示，數個這樣的跳轉串接成一個答案。大型語言模型維運可觀測性，就是讓這整段多步驟執行在生產中變得可讀的做法——捕捉每次呼叫的提示、回應、詞元、延遲、成本，以及它所喚起的工具——好讓代理人給出錯誤或昂貴答案時，你能精確看出鏈中是哪一處出了錯。

核心結構是追蹤（trace）：一棵由跨度（span）組成的樹，每個跨度是一次大型語言模型呼叫、檢索或工具步驟，記錄輸入、輸出、詞元數、延遲與成本，並依應用的控制流程巢狀嵌套。在追蹤之上是線上評估、自動化品質檢查與「以大型語言模型作為評審」的評分、護欄與安全過濾器，以及彙總每請求成本、詞元用量、延遲百分位數與錯誤、拒答率的儀表板。由於大型語言模型輸出開放且非決定性，可觀測性也會捕捉使用者回饋並抽樣對話供人工審查。

其獨特挑戰在於：品質難以自動衡量，成本與延遲是頭等的營運指標而非事後補記，而提示與工具定義本身就是會變動的部件，其版本必須綁到每一筆追蹤上。少了這一層，一個大型語言模型應用就是個偶爾會昂貴地幻覺的黑盒子；有了它，退步變得可診斷，提示或模型的更動也變得可量測。