提示與情境學習

提示敏感度(prompt sensitivity)

提示敏感度,指的是一個令人不安的事實:對提示做出微小、看似無害的更動,竟可能明顯地撥動模型的輸出。換個措辭、把選項清單重新排序、多加或少了一個空格或換行、把範例擺在指令之前還是之後——任何一項都可能改變答案或它的品質。兩個對人類而言意思相同的提示,對模型卻可能落在不同的地方。

之所以如此,是因為模型回應的是那一串精確的詞元,而不是你意思的抽象概念。措辭與結構會改變哪一種續寫看起來最可能,而且沒有任何內建保證能擔保「保留意思的修改」也會保留行為。這是一個實在的可靠性顧慮:一個在你的範例上調得漂亮的提示,當措辭或輸入稍有變動時,可能悄悄退化。

務實的因應之道,是別信任單一個僥倖的提示。把提示放在許多輸入與幾種改寫上測試,偏好清楚、明確、少留給運氣空間的措辭,並在正確率要緊時,使用像自我一致性這類能在變異上取平均的技巧。誠實的評估會報告跨多個提示變體的表現,而不只是你碰巧找到的那個最好的。

又称
prompt brittlenessprompt robustness