提示與情境學習

思維鏈提示(chain-of-thought prompting)

思維鏈提示,是請模型在給出最終答案之前先把推理寫出來,就像學生把演算過程攤開,而不是脫口報出一個數字。對於多步驟的問題,例如應用題、邏輯謎題,或任何需要好幾個環環相扣推論的任務,這一個動作就能大幅提升正確率。在提示裡加上「讓我們一步一步想」這句話之所以出名,正因為它能把模型推進這種模式。

為什麼寫出步驟有幫助?模型每生成一個詞元,都會在產生下一個時被回饋進去,於是看得見的推理就成了模型可以接著建構的額外情境。一道難題因此被拆解成一連串小而較易的續寫,而不是一步登天地跳到答案。實際上,這等於給了模型在紙面上慢慢算的空間,而非一口氣全在腦中算完。

一個提醒:寫出來的推理鏈讀起來像解釋,但它並不保證是模型真正如何得到答案的窗口。模型有時會產出看似有理、實際上並未驅動結論的推理,而一個有瑕疵的步驟仍可能落在正確答案上,反之亦然。請把推理鏈當作輔助工具,而不是證明。

又称
CoTlet's think step by step