退化與重複（degeneration and repetition）

神經文字退化（neural text degeneration）是一種失敗：模型的輸出變得平淡、籠統、或卡住——最明顯的就是陷入迴圈，把一個詞語或句子一遍又一遍地重複，直到你把它截停。這在確定性解碼器上最常見：貪婪和束搜尋一味追逐最高機率的接續，一旦重複的模式在當下成了最可能說的話，模型每走一步就把這道車轍挖得更深，而非爬出來。

研究帶來的意外教訓是：解方是更多隨機性，而不是更少。讓模型從可能詞元的自然分散中取樣——透過 top-p 或 min-p，搭配適中的溫度——能打破這個自我強化的迴圈、找回多樣性，因為人類語言確實活在那片寬廣的中段，而不是那單一的尖峰上。重複懲罰則從另一側替症狀打補丁。當你看到 LLM 胡言亂語或鬼打牆時，第一個該懷疑的幾乎總是解碼設定，而不是模型的智力。