解碼與取樣

解碼策略(decoding strategies)

每一步,大型語言模型(LLM)並不直接給你一個字,而是給出詞彙表中每一個詞元的機率——往往多達好幾萬個。解碼策略就是把這整個機率分佈變成一個實際選擇的規則,然後對下一個詞元重複同樣的過程。可以把它想成寫作者遵循的方針:永遠挑最穩的字、依機率擲加權骰子、或同時保留好幾份草稿。同一個模型,光是換這條規則,就能顯得謹慎、有創意、或一直重複。

因為模型每次只預測往後一個詞元,這條規則會一再被套用,每一次的選擇又回頭成為下一步的脈絡。主要分兩大類:追求最可能文字的確定性方法(貪婪解碼、束搜尋),以及刻意注入隨機性的隨機方法(溫度、top-k、top-p、min-p 取樣)。多數實際系統會同時調好幾個旋鈕。選得好不好,重要程度不亞於模型本身:設定錯了,再強的模型也會胡言亂語或卡在迴圈裡。

又称
decoding methodsgeneration strategies