WordPiece 分詞（WordPiece）

WordPiece 是 BERT 及其家族背後的方案，是位元組對編碼的近親。它同樣靠合併片段來長出詞彙表，但改變了「該合併哪一對」的規則。它不是每次都合併最高頻的相鄰配對，而是合併那一對「在一個簡單詞語模型下，最能提高訓練文字概似度」的配對。粗略地說，它問的是「哪一次合併最能解釋資料？」而不是單純問「哪一對最常見？」。

實務上，這兩種方法切出來的結果相似但不完全相同。延續某個單字的詞片通常會被標記，例如以「##」前綴呈現，像「play」加「##ing」，這樣就能精確還原原本的空格。和位元組對編碼一樣，WordPiece 對於拼不出來的東西會退回到單一字元，藉此保證涵蓋率。以概似度為依據的判準是它的關鍵差異，傾向於偏好那些真正讓語料庫更可預測的合併。