取樣與貪婪之別（sampling vs. greedy）

這是每個解碼器都要面對的岔路：要確定性，還是要隨機性。貪婪（以及束搜尋）永遠追逐最可能的文字，所以可重現，很適合有標準答案的任務——算術、程式碼、結構化抽取，任何你想拿來測試的東西。取樣——溫度、top-k、top-p、min-p——擲的是加權骰子，所以同一個提示會產出不同輸出，文字也更有人味、更多變、更鮮活。代價是不可預測，偶爾會轉錯彎。

取樣之所以在開放式文字上勝出，原因很微妙：人類語言那條單一最高機率的接續，通常既平淡又重複，而真正的人類寫作，活在分佈中那片寬廣、機率稍低一點的中段。只挑最高的詞元，會讓輸出失去那份自然的多樣性。實務上的拇指法則：有唯一正解時用確定性，想要創意時用取樣——並記得，即使溫度設成零，硬體與批次處理仍可能讓輸出無法完全一模一樣地重現。