參數高效微調（parameter-efficient fine-tuning，PEFT）

全參數微調會改寫模型數十億個權重的全部，無論在運算還是儲存上都很昂貴——每個任務都得存一份完整大小的副本。PEFT 問的是一個更便宜的問題：能不能把這個龐大的預訓練模型凍結起來，只學一小撮新的數字來操控它？答案出乎意料地常常是「可以」。

PEFT 方法——LoRA、適配器、軟提示——在原始權重保持凍結的情況下，只新增或修改遠低於百分之一的參數。你只訓練那少數額外的權重，於是記憶體與時間大幅下降，而每個任務都變成一個可以疊在共用基礎之上、隨插即用的小檔案。對於適配類的任務，品質通常很接近全參數微調。

正是這一點讓微調對一般團隊變得負擔得起：你可以在單一張 GPU 上訓練出一個有用的適配器，並保留數十個任務專屬的變體，卻完全不必儲存數十個完整模型。