SentencePiece 分詞器（SentencePiece）

大多數分詞器都默默假設你已經用空格把文字切成單字了——但這個假設對中文、日文、泰文以及程式碼都會失效，因為這些語言的詞界並不是用空格標出來的。SentencePiece 是一套分詞工具，徹底拋棄這個假設。它直接在原始文字上訓練，把空格本身也當成一個普通字元，通常以一個特殊的底線符號顯示，這樣空格就絕不會遺失。

由於它不依賴特定語言、而且完全可逆，你永遠可以單憑詞元就還原出一字不差、連空格都正確的原始字串。SentencePiece 其實比較像是一層封裝，而不是單一演算法：底層它可以訓練位元組對編碼模型，也可以訓練 Unigram 模型。許多多語言與開源模型，包括 LLaMA 與 T5 家族，正是因為它對每種語言一視同仁、又不需要任何特定語言的事前切詞步驟，才採用它。