嵌入維度（embedding dimension）

嵌入維度（embedding dimension）就只是每個詞元的向量有多長——用多少個數字來描述一個詞元。常見的大小從幾百到好幾千都有，像 768 或 4,096 都很典型。你可以把它想成模型有幾個獨立的旋鈕可以用來描述每一段文字：旋鈕愈多，能表達細微差異的方式就愈多。

維度愈多，模型就有愈大的空間去表現細緻的區別，但下游每一處都要付出更多記憶體與計算成本，因為這個寬度通常會貫穿整個網路。維度太少，不同的意義會被擠在一起而混淆；維度太多，則會浪費容量，還可能把雜訊也學進去。維度是一個固定的設計選擇，是個超參數，對每個詞元都相同，而且在訓練開始之前就決定好了。