大型語言模型中的推理（reasoning in LLMs）

當模型不是脫口說出第一個聽起來合理的答案，而是分步驟地走向答案時，我們就稱之為推理。問一個難題，會推理的模型行為有點像一個細心的人：它把問題拆成幾部分，沿著一連串小推論前進，最後才確定最終答案。你常能從它在結論前鋪陳的演算過程看出這點，就像你在寫下乾淨解答之前，會先在草稿紙上塗寫一樣。

在底層，並沒有一個獨立的邏輯引擎在思考。模型依舊一次預測一個詞元（token），但它產出的詞元可以是中間步驟，讓下一步更容易答對。每一行演算都成為下一次預測會讀到的情境的一部分，所以把步驟攤開來寫，確實提高了得到正確結尾的機率。這也是為什麼模型能解開多段式問題，若硬要它一步答完反而會出錯。

對它是什麼、不是什麼，誠實看待很重要。這些步驟看起來像演繹，但本質仍是統計上的續寫，一條看似自信的思路也可能因中段出錯而到達錯誤答案。這種意義下的推理是一個強大卻不可靠的工具：在難題上勝過隨手猜測，卻不保證合理。把看得見的演算當成待檢查的草稿，而不是一份證明，才能把期待擺在對的位置。