解碼與取樣

貪婪解碼(greedy decoding)

貪婪解碼是所有規則裡最簡單的:每一步看機率,挑出最高的那一個,其餘選項一律不理。就像一個登山者,永遠朝當下最陡的上坡邁步——快、果斷、從不回頭懷疑。因為沒有隨機性,同一個提示每次都給出一模一樣的輸出,所以在你想要可重現的任務上很好用,例如抽取一個事實或跑測試。

問題在於「當下最好」不等於「整體最好」。永遠抓最高機率的詞元,可能把模型帶進死角——一個逐字看起來很棒、整段讀起來卻平淡、籠統、或卡在迴圈的句子。它也丟掉了模型自己的不確定性:兩個都不錯的詞元即使只差一根頭髮,也會被一刀分出勝負,完全不記得這個選擇其實很接近。對於開放式寫作,貪婪輸出往往顯得安全卻有點死板。

又稱
argmax decoding