情境學習（in-context learning）

情境學習，是大型模型一種令人驚訝的本事：它能從提示裡擺著的幾個例子，學會一項全新任務，完全不需要訓練步驟。給它看一個模式，例如把日期從一種格式轉成另一種，它就把下一個也做出來。模型內部毫無改變；這堂課完全活在你餵給它的文字裡，而當那段提示消失，它也隨之遺忘。

這很奇怪，因為我們通常認為學習就是透過梯度下降更新權重。在這裡權重是凍結的，模型卻表現得像學會了。主流的解釋是：在預訓練期間，模型為了預測無數文件中的下一個詞元，被迫變得很會辨認並接續模式。提示裡的幾個例子，不過是又一個待接續的模式罷了。情境學習正是提示如此強大的原因：你在開口詢問的當下就讓模型適應了你的任務，而不是在訓練實驗室裡。

它的限制值得記住。這堂課必須塞進情境窗，它不會在不同對話之間累積，而且模型可能抓住一個表面的模式，而非你原本想要的那個。對於任何你需要長久且可靠擁有的能力，微調（fine-tuning）仍有其位置。