微調與適配

適配器模組(adapter modules)

適配器是參數高效微調最早的那一招:你不去改寫模型,而是把極小的新層塞進它裡面,只訓練那些新層。想像在模型既有的區塊之間裝上一個個又小又可替換的卡匣——大機器維持不動,由卡匣承載新的技能。

典型的適配器是插在每一個 Transformer 層內部的小型瓶頸結構:它把隱藏狀態投影到一個低維度,套上一個非線性,再投影回去,並透過殘差連接把結果加回來。只有這些插入的層會訓練,其餘一切都凍結。不同任務配上不同的適配器組,需要時換上即可。LoRA 可以看成它一個更精簡的近親——把更新注入既有權重,而非另外新增層。