解碼與取樣
核心取樣(nucleus sampling,top-p)
核心取樣更常被稱作 top-p,它修補了 top-k 的盲點:依模型自己的把握度來決定候選池大小。你選定一個機率質量 p——常見是 0.9——方法就從機率最高的詞元往下收集,直到它們的機率加總首次達到至少 p。這個集合就是「核心(nucleus)」;長尾全部丟棄,核心重新正規化,再從中取樣下一個詞元。
美妙之處在於這份短名單會隨脈絡呼吸。當模型有把握時,可能兩個詞元就已涵蓋九成的質量,核心因此很小,輸出穩穩不跑偏。當它不確定時,得收進好幾十個詞元才湊到 p,核心於是變寬,創意空間也隨之打開。top-p 設在 0.9 至 0.95、再配一個適中的溫度,是聊天與創意寫作的日常預設,而且常疊在溫度設定之上一起用。
又称
另见