高效與邊緣人工智慧
訓練後量化(PTQ)
訓練後量化把一個已經訓練好的模型降低數值精度,而不再回到訓練迴圈。它至多讓幾百個未標註的樣本通過網路,觀察權重與激活值的範圍,再決定縮放因子——這個過程只需數分鐘到數小時,而非重新訓練所要花的數天。
核心抉擇包括:粒度(每張量、每通道或每群組的縮放因子)、對稱量化還是仿射零點,以及如何校準每個範圍——用最小最大值、百分位裁切,或最小化均方誤差或 KL 散度。進階的 PTQ 會加入誤差補償(如 GPTQ)或範圍均衡(如 SmoothQuant),以可靠地壓到 8 位元以下。整個方法族以一個小幅、有時非零的精度損失,換取不需標註、不需梯度、也不需原始訓練流程。
PTQ 幾乎總是首先嘗試的方法,因為它便宜又利於部署。當它在激進的位元寬度下損失過多精度、或必須量化激活值時,量化感知訓練就是退路。
「訓練後」指的是訓練結束之後——PTQ 從不以梯度下降更新權重;這正是它與量化感知訓練的分界。
又称
另见