指令微調（instruction tuning）

指令微調，是教模型去「做你要求的事」、而非僅僅「續寫你的文字」的那一步訓練。一個未經雕琢的預訓練模型是自動補全的高手：你打「寫一首關於大海的詩」，它可能樂呵呵地回你「也寫一首關於群山的詩」，因為那是一句說得通的下文。指令微調糾正了這一點——它給模型看上千個「請求，隨後是一段好回答」格式的例子，直到模型學會：請求是用來「滿足」的，而不是用來「重複」的。

機理上，它是一種微調，在一份涵蓋眾多任務類型的「指令—答案」配對資料集上進行——概括這個、翻譯那個、解釋這個概念、修這段程式碼。模型學會了一種通用習慣：把使用者的話當成命令來對待。僅這一步，就在很大程度上把幾年前那些笨重的文字預測器，變成了人們如今天天與之閒聊的得力助手。

不過要把它的局限說清楚。指令微調讓模型「願意且能夠」聽從指令；它並不讓模型「正確」。一個指令微調得很好的模型，會信心十足地順著一個請求一路走向錯誤答案，也可能被誘導去執行有害的指令。可靠與安全，還需更進一步的工夫——通常是在其上疊加像RLHF這樣的人類反饋方法。