參數高效微調（PEFT，parameter-efficient fine-tuning）

完整微調會更新每一個權重，這意味著每個任務都要一份巨大模型的獨立副本、龐大的最佳化器狀態、以及數十億參數的梯度。參數高效微調是一個總稱，涵蓋那些只訓練模型一小部分參數（或外掛一小組新參數）、同時讓龐大預訓練骨幹保持凍結的方法。其前提是：任務適配本質上是低維的，所以你不該被迫付全價才能抓住它。

這個家族分成幾種機制。加法式方法插入新的可訓練模組、原件原封不動：適配器層、前綴微調、軟提示皆屬此類。重新參數化方法把權重更新表達成緊湊形式，最有名的就是 LoRA 及其後裔 DoRA、QLoRA 的低秩分解。選擇式方法只解凍既有參數中精選的一小片，例如只解凍偏置項。它們共享同一筆划算帳：可訓練參數與最佳化器記憶體縮小一到三個數量級。

實務後果很大。許多任務可以共用一個凍結基礎、搭配可熱插拔的輕量模組，省下儲存並使多租戶服務成為可能；更便宜的硬體就夠用；遺忘也更輕微，因為基礎被保留了下來。代價是相對於完整微調通常很小的準確度落差，以及一個事實：沒有任何單一 PEFT 方法能全面稱霸——正確選擇取決於任務、規模與服務限制。