監督式微調（supervised fine-tuning，SFT）

監督式微調是用做好的範例來教。你蒐集一對對的提示與理想回應——問題搭配你希望模型給出的答案——然後訓練模型重現那些答案。之所以叫「監督式」，是因為每個範例都帶著一個目標，模型會被拿來跟它對照打分。

模型讀進提示加上標準回應，用和預訓練相同的「預測下一個詞元」目標來訓練，只是損失通常只算在回應的詞元上，不算提示。經過大量這樣的配對，它就學會了從指令到好答案的對應關係。SFT 是把原始基礎模型變成一個有用助理的第一階段，通常排在以偏好為基礎的對齊（例如 RLHF）之前。