災難性遺忘（catastrophic forgetting）

一個學會新東西的模型，可能會把它原本會的東西砸掉。在醫學文字上猛力微調，模型也許在醫學上變強了，卻悄悄失去了算術、寫程式，或它的安全分寸。這種既有技能的驟然喪失，就是災難性遺忘。

之所以會這樣，是因為梯度更新覆寫了那些編碼著舊能力的共用權重，而本來就沒有東西在保護它們。你訓練得越多、學習率越大、資料越窄，情況就越糟。緩解的辦法包括：把一小片通用資料混進微調資料集、改用 PEFT 讓多數權重維持凍結、把學習率壓低，以及用複習或正則化把模型錨定在它原本的附近。

這正是為什麼微調是門平衡的功夫：你要同時量測新技能和舊基準，因為某一邊的增益，可能正悄悄掩蓋著另一邊的損失。