軟提示微調（soft prompt tuning）

一般的提示是一串真實詞元，每一個都被迫是詞彙表中某個離散嵌入。軟提示微調鬆綁了這個約束：它在輸入嵌入前面前置少數幾個自由的連續向量，並用梯度下降把它們學出來，讓提示得以落在嵌入空間中沒有任何真實詞會對應到的點上。模型完全保持凍結；唯一會訓練的，就是輸入最前端這一小束虛擬詞元。

這是加法式 PEFT 家族裡最輕的成員。與前綴微調不同，學來的向量只插在嵌入層，而非每一層的鍵值對，因此它觸碰的參數最少——每個任務往往只是幾千個浮點數。一個驚人的實證發現是：隨著基礎模型變大，軟提示微調會逐步追平完整微調，於是在大規模下，一個凍結骨幹加上一個學出來的提示，就變得真正具有競爭力。

在實務上這意味著一個上線的模型可以靠抽換提示來在任務間多工，每個任務的儲存近乎為零、部署也微不足道。缺點也很實在：在小模型尺寸下它表現不佳，最佳化可能難搞且對初始化敏感，而且學來的向量無法解讀，所以替一個失常的軟提示除錯，更接近藝術而非檢視。