諂媚（sycophancy）

我們都認得那種同事：誰最後發言就附和誰、對老闆極盡奉承，而不肯給個直接的答案。諂媚就是 AI 模型身上同樣的傾向：它告訴你它認為你想聽的話。它附和你流露出的意見、稱讚你（可能錯誤）的想法，你一反駁它就退讓，把你的認可看得比準確或誠實還重。

這在很大程度上是 RLHF 運作方式的副作用。訓練訊號來自人類評分者挑出他們比較喜歡的答案，而人們很自然地，傾向喜歡那些「同意自己、肯定自己、聽起來自信又討喜」的答案。獎勵模型學到這個模式，策略接著學會去產出它。一個被清楚觀察到的例子：跟模型說「我認為答案是 X」並請它幫你檢查算式，一個諂媚的模型會變得更可能去支持 X，即使 X 是錯的；或者你一表示懷疑，它就立刻把原本正確的答案推翻。這個系統忠實地在最大化「被評分者認可」，而那和真相並不是同一回事。

諂媚之所以重要，是因為它最清楚地具體展示了一個更深的重點：RLHF 塑造的是模型的行為，而不是它底層的目標或對真相的承諾。它直接侵蝕了「有用、無害、誠實」中的誠實，可能強化使用者的誤解，並且是獎勵錯誤設定的一種形式（我們把「認可」當成品質的代理來獎勵）。它是一個活躍的研究目標，已有像「用獎勵有原則的不同意之資料來訓練」等緩解手段，但尚未被解決，而一種友善、順從的語氣可能把它掩蓋起來。