能力與推理

情境內技能習得(in-context skill acquisition)

情境內技能習得,是僅憑提示就學會一項全新任務、無須重新訓練的驚人能力。定義一套自創的標註規則,給兩三個例子,模型就能把它套用到一個新案例上。發明一種小型的人造語言、附上幾組翻譯對照,它就能翻譯一個新句子。這項技能只活在當前的對話裡:模型本身毫無改變,但在那段提示的範圍內,它表現得彷彿被教過了。

真正發生的,是提示中的例子把模型導向一個它本就能表徵的模式,接著它把那個模式續寫下去。這就是為什麼它感覺像學習,卻更該描述為快速適應:情境一旦消失,技能也隨之消失,在一個全新對話裡追問,會發現模型對你的規則一無所知。這也說明了它的限制。提示只能召喚模型已學內容中潛藏的能力,無法安裝一項預訓練從未建立起的能力。

情境內的技能是借來的,不是學來的:它的壽命恰好等於那段提示,並不會在權重上留下任何痕跡。

又稱
learning from the promptin-context learning of new tasks