推論與服務部署
草稿詞元驗證(draft-token verification)
推測解碼只有在以「絕不改變模型本來會說什麼」的方式檢查猜測時才有用。驗證就是那個謹慎的接受或拒絕步驟:它讓大模型的輸出在統計上和它自己逐一生成每個詞元時完全相同,因此換取速度時不必犧牲任何品質。
對每一個草稿詞元,目標模型都已經算出一個機率。驗證器以「一」與「目標機率除以草稿機率」兩者中較小者為機率來接受該草稿詞元;在第一次拒絕時,它從一個調整過的殘差分布重新抽樣,並結束這一輪。這套拒絕抽樣方案保證最終序列的分布與直接從目標模型抽樣完全一致。每一輪能接受幾個詞元——即接受率——決定了真正的加速幅度,因此一個對齊良好的草稿模型,遠比一個單純夠小的草稿模型重要。
p_{\text{accept}}(x) = \min\!\left(1, \frac{p_{\text{target}}(x)}{p_{\text{draft}}(x)}\right)
草稿詞元 x 的接受機率;一旦被拒絕,便觸發一次校正後的重新抽樣。
另见