Medusa 解碼（Medusa decoding）

Medusa 是一種自我推測的形式，避免額外託管一個獨立的草稿模型。它改為在目標模型凍結的主幹上加裝幾個小的額外預測頭——第一個頭預測往後第二步的 token、第二個頭預測往後第三步的 token，依此類推。每個頭都是建在模型最後一層隱藏狀態之上的輕量前饋層，於是單一次前向傳遞現在不只吐出下一個 token，還吐出一束往後好幾個位置的候選延續。

這些候選被組裝成一棵小的可能 token 序列樹，再用一個樹狀結構的注意力遮罩讓目標模型在一次批次化前向傳遞內驗證樹中的每條路徑，並接受其中與模型自己會採樣的結果相符的最長前綴。由於這些頭與主幹共享同一套權重與特徵，訓練很便宜——你凍結基底模型、只擬合這些頭——而且沒有第二個模型要部署、排程或常駐記憶體。它的接受仍然是精確的，保留原本的輸出分布。

Medusa 通常能帶來約兩倍的加速，工程負擔極小，代價是每一步多一點算力與訓練那些頭，換來「單一自足模型」的便利。