提示脆弱性（prompt brittleness）

你可以用兩種對人類而言意思完全相同的問法去問同一個問題，卻從模型那裡得到兩個截然不同的答案。把幾個字重新排序、加一句客氣的「請」、把條列改成句子、或換掉一個例子，品質就可能從出色擺盪到沒用。模型對「表面形式」的敏感，超出我們直覺所能預測的程度，因為極小的措辭變動，會挪動它所依賴的統計模式。

這份脆弱性令人為難，有兩個原因。它讓結果難以重現——上週還管用的提示，模型更新後可能就失靈；它也讓評測變得棘手，因為一個基準分數可能取決於措辭而非真實能力。務實的應對是：在好幾筆輸入上測試提示、偏好清楚明確的指示而非花俏的指示、並把一個僥倖成功的提示當成起點而非完工的解法。穩健來自系統化的測試，而不是某一句神奇的咒語。