對比解碼（contrastive decoding）

對比解碼挑選下一個詞元時，是拿兩個模型相比，而非只信一個。你讓一個強的「專家」模型和一個較弱的「業餘」模型——往往是同家族小得多的版本——在同樣的脈絡上運行，然後偏好那些專家比業餘喜歡得多的詞元。直覺是：兩個模型共有的失敗模式，例如平淡的填充、籠統的措辭、表面的重複，會被互相抵消，而專家真正的知識會在它與業餘分歧之處凸顯出來。

回報是更流暢、更不退化的文字，而且不像貪婪或束搜尋那樣只是一味把機率催高。一個相關變體叫對比搜尋（contrastive search），它改為懲罰與已生成詞元太相似的候選，直接壓抑那些困擾開放式生成的迴圈。兩者都得付出額外運算——多一次前向傳遞、或多一個相似度項——也都需要調校，但它們說明了：你從分佈裡減掉什麼，可能和你保留什麼一樣重要。