侷限、幻覺與風險
中段遺失(lost in the middle)
就算一條事實舒舒服服地塞在脈絡窗之內,它「擺在哪裡」也很要緊。研究者發現一種 U 形模式:模型對放在長輸入「開頭附近」或「最末尾」的資訊,用得遠比同樣放在「中段」的可靠。把那句最關鍵的話塞進二十頁文件的正中央,模型可能會答得像是從沒看過它;而同一句話放在最上面或最下面,卻能被乾淨俐落地接收。
這是一種安靜又違反直覺的失靈,因為資料明明就在那裡——什麼都沒被截掉,注意力卻就是偏愛兩端。它在檢索與長文件任務裡咬得最兇,因為能回答問題的那一段,正好可能落在虛弱的中段。務實的防禦是:把最重要的材料放在開頭或結尾、輸入該多長就多長別更長、並對檢索到的段落重新排序,讓最強的證據落在模型真正會看的地方。
另見