從一個數字到一個移動的目標
在第一卷裡，你用保留測試集並計算準確率（accuracy）、精確率（precision）與召回率（recall）來評分分類器：每個樣本只有一個正確標籤，評分是機械式的。大型語言模型（large language model, LLM）打破了這個流程背後的每一個假設。它的輸出是開放式文字，很少有唯一的標準答案，同一個提示可以用上千種不同措辭答得一樣好，而措辭的微小改變就能讓分數大幅擺盪。評估不再是你讀取的一個測量值，而是你必須設計的研究工具。
一個二乘二的混淆矩陣，包含真陽性、假陽性、假陰性和真陰性四個單元格。
你已經熟悉的預訓練代理指標——困惑度（perplexity），即模型對保留文字的「驚訝」程度——雖與能力相關，卻無法告訴你模型能否寫出正確的程式、能否拒絕有害請求，或能否停止捏造（hallucination）引用。我們需要任務層級的評估，而一旦離開困惑度，真正困難的問題就開始了。
困惑度是模型在留出文本上每個詞元平均負對數似然的指數——它衡量模型有多「驚訝」，卻看不出回答是否正確。
一個基準的解剖
一個基準是四個決策的綑綁：一份輸入的資料集、一種任務格式（多選、自由生成、程式執行）、一個評分函式，以及把結果彙總成一個登上排行榜（leaderboard）的數字。每個決策都滲入了假設。多選題評分便宜，但測的是辨認而非生成；自由生成評分貼近真實，卻需要一個會出錯的評分者；評分函式定義了「好」的意義；而你最終發表的排行榜名次把這一切都藏了起來。
三件會出錯的事
汙染（contamination）。 模型在大半個公開網路上訓練，因此測試題可能早已存在於訓練資料中；此時分數量到的是記憶而非能力。這促成了無汙染評估（contamination-free evaluation），以及第二卷中的資料汙染偵測（data-contamination detection）方法。
資料被劃分為訓練、驗證和測試三部分，測試樣本洩漏回了訓練集。
飽和與古德哈特定律（Goodhart's law）。 一旦某基準出名，整個領域都向它優化；數字逼近天花板後便不再能區分模型——「當一個量度成為目標，它就不再是好的量度」。構念效度（construct validity）。 基準是你真正在意的能力的代理；在多選醫學考試上得高分，並不能證明模型會給出安全的醫療建議。把這三種失效模式——汙染、飽和、效度——時時放在心上，正是本軌要教的紀律。
評估方法的地圖
本軌之後會走過四個家族。靜態基準搭配自動評分：像 MMLU 的知識測驗、真實性測驗，以及可執行的程式測驗。整體性框架如 HELM，報告跨多情境的多項指標，而非單一頭條數字。偏好與評審式評估，由強模型或一群人類為開放式答案評分——包括 LLM 作為評審（LLM-as-a-judge）。對抗式評估，即紅隊測試，問的不是「平均有多好」，而是「當有人試圖弄壞它時，它會如何失敗」。
- 第 2 篇——靜態基準：知識、真實性與可執行程式。
- 第 3 篇——模型評審、勝率與 Elo 競技場。
- 第 4 篇——紅隊測試、越獄與提示注入。
- 第 5 篇——組裝一套你能信任的研究級評估流程。