軟提示微調（soft prompt tuning）

平常你是用打出來的文字去操控模型——也就是「硬提示」。軟提示微調則改為「學」出這個操控。它在你的輸入前面接上少數幾個可訓練的向量——這些向量活在模型的嵌入空間裡，卻不對應任何真正的詞——並且只調這些向量，整個模型維持凍結。

這些連續的「虛擬詞元」由梯度下降優化，使它們一旦接在任務輸入前面，就能從凍結的模型裡誘導出對的行為。因為你只訓練幾千個數字，所以極度輕量，而單一個基礎模型可以同時搭載許多個學好的提示。一個相關的變體叫前綴微調（prefix tuning），它把這類學到的向量注入到每一層，而不只是輸入端。

軟提示很強大，但訓練起來可能很挑剔，而且比文字提示更難解讀——你沒辦法把它「說了什麼」讀出來。