能力與推理
思維鏈推理(chain-of-thought reasoning)
思維鏈就是讓模型在最終答案之前寫出中間步驟的簡單技巧,就像老師要你把演算過程寫出來一樣。模型不直接跳到四十二,而是先說有三個籃子,每籃裝十四顆蘋果,三乘十四等於四十二。常常你只要加上一句像「讓我們一步一步想」,算術、邏輯與應用題的正確率就會明顯上升,而模型本身毫無改變。
一旦你記得模型是靠續寫文字來推理,它為何有用就很直觀了。從問題直接跳到答案,等於要它在一次預測裡隱形地完成全部工作;把步驟寫出來,則把那一次困難的預測,變成一連串各自倚靠上一行的簡單預測。中間的詞元就像模型能回頭讀取的外接草稿紙。但要留意:寫出來的這串思路是模型講的一個故事,而不是它內部運算的逐字稿,所以它可能聽來嚴謹,卻悄悄是錯的。
P(\text{answer} \mid \text{question}) \;<\; P(\text{answer} \mid \text{question}, \text{steps})
把步驟攤開,會讓正確的結尾比一步答完更可能被續寫出來。
又稱
另見