位元組對編碼（byte-pair encoding，BPE）

位元組對編碼（byte-pair encoding，BPE）建立詞彙表的方式，就像你手動壓縮文字一樣：找出最常出現的相鄰配對，給它一個簡寫。一開始以單一字元或位元組為單位，接著反覆掃過整個語料庫，找出最高頻的相鄰配對，把它合併成一個新的詞元。把這個合併步驟重複幾千次，你就得到一個由常見片段與完整單字組成的詞彙表——完全由「東西多常一起出現」由下而上長出來。

在對新文字分詞時，會把學到的同一套合併規則依照學習的先後順序貪婪地套用。BPE 之所以是 GPT 類模型與許多模型的主力，是因為它簡單、快速，而且完全可逆。現代版本直接在原始位元組上運作，所以遇到表情符號或陌生文字也絕不會失敗——最糟的情況就是一個字元逐位元組地拼出來。你選擇的合併次數，直接決定了最終的詞彙表大小。