基礎模型 vs 聊天模型（base model vs chat model）

基礎模型（base model）是用海量文字訓練出來的原始成果：它非常擅長把文字接下去，卻完全不知道自己該當一個助理。你問它一個問題，它可能接著丟出更多問題，因為在它的訓練資料裡，問題後面常常就是接更多問題。聊天模型則是同一個基礎模型，再經過額外訓練、學會遵循指示並有禮貌地回答之後的版本。

聊天版是分階段疊在基礎模型之上建起來的。先用「監督式微調」給它看大量「指示配上好回覆」的範例，再用「偏好訓練」獎勵人們比較喜歡的答案。底層的知識幾乎沒變；變的是行為——聊天模型懂得：一個問題是「請回答我」的要求，而不是一個「請接下去」的模式。