解碼與取樣
停止序列(stop sequences)
停止序列是你指定的一個字串,一旦模型產出它,就立刻叫生成停手。觸發點之前的文字會被回傳,而觸發字串本身通常會被裁掉。它就像一次 API 呼叫的標點符號:一種不必仰賴模型自己知道「這裡」在哪、就能說「停在這裡」的辦法。常見的選擇有換行、結束標籤、或像聊天逐字稿中標示下一位發言者的角色名這類標記。
停止序列能防止模型答完還喋喋不休、避免它把對話雙方都自己幻想出來、並在結構化格式裡切出乾淨的邊界。它和模型自己的序列結束詞元(end-of-sequence token,標示自然收尾)搭配運作;停止序列則是外部、由應用程式定義的那一刀。陷阱多半出在觸發字串選得不好——太常見的字串會把輸出攔腰斬斷;挑到模型本來就正當需要寫出的字串,它就永遠產不出那段內容。
又称
另见