LLM 評審的位置偏誤（position bias）

當一個 LLM 評審比較兩個答案時，它對答案擺在哪裡並非中立。位置偏誤是它系統性地偏好排在前面（有時是後面）那個答案、無關內容的傾向——把同一對以相反順序呈現，判斷可能就翻轉。它是評審諸多病灶之一，與冗長偏誤（較長看起來較好）與自我偏好（模型偏好自家風格的文字）並列。

這個偏誤之所以出現，是因為評審的偏好與提示的詞元排版糾纏在一起，而非純粹與答案品質掛鉤。標準的診斷兼修正是順序隨機化加一致性檢查：把每一對以 (A,B) 與 (B,A) 兩種順序都評一次；只有當評審兩種順序都同意時才算明確勝出，並把與順序相關的判斷視為平手。回報換序一致率可量化結果中有多少是訊號、多少是位置假象；校準與少樣本去偏進一步有幫助。

位置偏誤不會隨評審變強而消失——它縮小卻仍存在——而且它會與其他偏誤交互，所以一個排在前面的冗長答案會一次疊加兩種偏誤。任何不隨機化順序、不回報一致性的勝率或競技場式結果，都該抱持懷疑來讀，因為它表面訊號可能有一半來自排版。