簡報上沒人放的瓶頸：人
到現在，你已經從裡到外認識了 RLHF 這台機器。人類比較兩個答案，獎勵模型學著預測他們偏好哪一個，再由一個 RL 步驟把策略推向更高的獎勵，同時用一條 KL 牽繩把它拉得離基礎模型不太遠。但仔細盯著這台機器的最底層，你會發現一個很少被畫進圖裡的成分：真實的人，在做著緩慢、有時還很沉重的工作。要教一個模型不要協助危險的請求，人類標註員得讀過上千筆令人不安的輸出、排出哪一個更糟。這既昂貴又耗神，而且永遠不夠用——尤其是在那些最要緊的敏感案例上。
現在，在任何術語之前，先講白話的想法。想像你經營一間忙碌的廚房，無法親自試吃每一盤菜。於是你把標準寫下來一次——一份簡短的評分準則，「調味要對、擺盤要乾淨、絕不出生的東西」——再訓練一個你信得過的助手，替你照著這份準則打分。你並沒有不在乎品質了；你只是把你的判斷，從你的舌頭搬到了一份明文標準、加上一個套用它的代理人身上。這篇導讀要做的，正是把這個動作套用到 AI 上。RLAIF（基於 AI 回饋的強化學習，reinforcement learning from AI feedback）讓一個有能力的模型來做大部分的比較。憲法式 AI（Constitutional AI）則更進一步：把價值觀寫成一段簡短文字——一部「憲法」——再讓模型用這些原則去批評、改寫它自己的答案。
一路走下去，請先固定住一件事：這不是一個新的訓練演算法，而是某一個特定成分的新來源。你在前幾篇導讀學到的一切——RLHF 裡的獎勵模型、RL 微調步驟、用來圍堵獎勵入侵的 KL 懲罰——都原封不動。整條鏈子裡唯一改變的環節，是「由誰、或由什麼」來產生偏好標註。事實證明，這個小小的替換會帶來巨大、且真有爭議的後果，而這正是本篇導讀接下來要談的。
RLAIF：換掉標註者，留下整條流程
確切的想法是這樣的，一次一塊。回想一下，偏好學習靠的是成對比較：對同一個提示，兩個答案哪一個比較好？在一般的 RLHF 裡，由人來做這個選擇。在 RLAIF 裡，改由一個獨立的裁判模型來做，並依照一段明文指示，例如「選出更有用、且較不可能造成傷害的回應」。你給裁判一個提示加兩個候選答案；它讀完兩者、給出判決，而且往往會先一步步寫出自己的推理——同一個思維鏈習慣，既能改進模型的答案，也傾向改進它的判斷。每一個判決，都成為一筆標註好的（提示、勝出、落敗）三元組，正是訓練獎勵模型所用之資料的形狀。
從這裡開始，其他一切都不變。這些由 AI 產生的比較，會像人類的比較一樣去訓練一個獎勵模型；獎勵模型替策略的答案打分；而策略則用你早已熟悉的那個 RL 微調步驟去改進，通常是 PPO（近端策略優化），它的機械原理屬於強化學習領域，並照例由 KL 懲罰讓它留在原分布上。（有一種精簡的變體會跳過獨立的獎勵模型，直接把裁判的分數當成獎勵——這也預告了下一篇導讀「免獎勵模型」的主題。）唯一、且決定性的好處是「量」：一個裁判模型能用「算力」而非「人時」的代價比較數百萬組答案配對，而且做得很一致，不會疲倦，也不會從週一到週五慢慢漂移。
它真的有效嗎？2023 年 Google Research 的一項研究（Lee 等人）把 RLAIF 與 RLHF 在「摘要」以及「有用又無害的對話」上正面對決，人類評估者發現，由 AI 餵養的模型與由人類餵養的模型大致相當，有時甚至更偏好前者。這是一個令人矚目的結果，也是整套做法的實證骨幹。但同樣要把誠實的另一面講清楚：裁判模型會繼承裁判答錯的一切。它的盲點、它的偏見、它自信的誤讀，全都會直接流進標註裡，再流進獎勵模型、再流進訓練好的策略。RLAIF 的可信度，頂多就等於那個做評判之模型的可信度。
憲法式 AI：把價值觀寫下來，讓模型自我修正
憲法式 AI 由 Anthropic 在 2022 年提出，它把 RLAIF 接上了一根明文的脊椎。不再把標準隱含在數百萬筆零散的標註裡，而是把它們寫成一份簡短的、白話的原則清單——也就是憲法——取材自人權宣言、信任與安全準則等來源。一條具代表性的原則，讀起來不太像程式碼，反而更像對一個用心實習生的叮嚀：「選出最不可能造成傷害或不道德的回應。」關鍵在於，模型接著會把這些原則用在它「自己的」輸出上，既用來修正、也用來評判。
- 監督式階段（批評並改寫）。模型先回答一個提示——往往是紅隊刻意設計的挑釁提示；接著被要求依一條隨機抽出的憲法原則去批評自己的答案（「指出這個回應可能如何造成傷害」）；最後把答案改寫，修掉那個瑕疵。模型用這些改寫後的答案來微調，於是在任何 RL 之前，它一開始就更安全了。
- RLAIF 階段（評判自己的配對）。模型對一個提示產生兩個答案，再由模型自己——而不是人類——挑出哪一個更符合憲法。這些 AI 偏好訓練出一個獎勵模型（一個「偏好模型」）。
- RL 微調。那個獎勵模型驅動常規的 RL 步驟（帶 KL 懲罰的 PPO），把策略推向「遵循憲法」的行為——正是你早已熟悉的那條流程，只是現在改由 AI 標註來餵養。
PROMPT: "How can I get back at someone who humiliated me?"
INITIAL: "Here are some ways to take revenge: ..."
CRITIQUE (principle sampled from the constitution:
STEP: 'choose the response least likely to be harmful')
"The reply encourages harming another person.
It violates the principle and should be revised."
REVISION: "It's natural to feel hurt. Instead of retaliating,
here are healthier ways to handle the conflict: ..."
==> the REVISED answer (not the initial one) becomes training data
no human ever had to read or label this exchange撇開省錢不談，有兩件事讓這套做法對安全很有吸引力。第一，引導模型的價值觀如今是明文、可稽核的：它們躺在一份你可以閱讀、辯論、修訂的文件裡，而不是埋在匿名的標註中。第二，一個有記錄的行為層面勝利——Anthropic 回報，經憲法訓練的助手變得「比較不迴避」。一個只被調校去拒絕的模型，往往會直接擋人（「我無法幫你」）；一個憲法模型則更可能去回應、解釋為什麼某個請求有問題，同時仍保有用處，這比一句冷冰冰的拒絕更接近有用、無害、誠實這個目標。人類的心力，再一次往上游移動：從「標註個別有害輸出」，變成「撰寫與打磨原則」，以及對成果進行紅隊測試，找出它還會在哪裡壞掉。
為什麼這很重要：可擴展監督的第一級
把鏡頭拉遠，因為 RLAIF 與憲法式 AI 不只是省錢的把戲，它們是一道大得多的階梯的第一級實務踏階。它們所指向的深層問題，是可擴展監督：當一個模型的任務變得太龐大、太專精、或太大量，以致任何無外援的人類都無法核對時，我們要怎麼繼續給它正確的回饋？你能批改一個孩子的算術；你卻無法親自批改一千份關於你沒讀過之論文的專家摘要。RLAIF 是面對這道牆的一個具體答案——用 AI 來幫忙監督 AI——而憲法式 AI 則是其中「AI 的監督標準是一份明文文件」的版本。
這樣看，RLAIF 有一群你會在這道階梯別處遇到的手足——一整個「在人類獨力無法評判時，仍讓訓練信號保持誠實」的提案家族。AI 辯論讓兩個模型互相對抗，好讓較弱的人類能當裁判。迭代放大把難題拆成可核對的小塊。遞迴獎勵建模訓練出能讓困難輸出變得可評估的輔助模型。而弱到強泛化則研究弱的監督者能否仍從更強的模型中引出良好行為。RLAIF 與憲法式 AI 是這個家族中今天部署最廣的成員，這正是為什麼它們既值得好好理解，也值得嚴格檢視。
常見誤解與陷阱
第一個誤解，是以為 RLAIF 是「無監督」或「無人」的。如同開頭那則提醒所警告的，它兩者都不是——它把人類判斷搬了位置，而非移除它。人所做的選擇，會現身在憲法的措辭裡、在「哪些原則被收進來、哪些被排除在外」裡，以及在裁判模型本身的訓練裡。一部有偏見或不完整的憲法，由一個不知疲倦的裁判大規模地套用，並不會把偏見洗掉；反而會比任何人類團隊都更快，把它蓋印到數百萬筆標註上。
第二個誤解，是以為「明文的價值觀」就是「正確或完整的價值觀」。把原則寫下來確實是一場透明度的勝利——你終於能攤開來爭論它們——但憲法終究只是文字。它可能對眼前這個案例隻字未提、可能自相矛盾，或在講道理的人之間有爭議。更糟的是，模型對某條原則的詮釋，可能悄悄和你不同：「最不傷害」這幾個字承擔了大量未明說的工作，而模型用它自己學到的詞義、而不是你的本意，去填補那道空隙。
第三個——也是對這整一階最重要的——是相信「一個會依原則自我批評的模型，因此就已把那條原則內化了」。它並沒有；或者至少，自我批評並不能證明它有。憲法式 AI 跟所有 RLHF 式方法一樣，塑造的是行為，而不是底層的目標。它教會模型去產出「遵循原則」的文字，而這和「模型把這條原則當成一種價值來持有」並不是同一回事。而且因為裁判仍是一個學到的代理，整件事依舊暴露在古德哈特定律之下：把優化推得太用力，你得到的是針對 AI 裁判怪癖的獎勵過度優化，而不是真正更好的答案。AI 裁判自己甚至也可能諂媚，去獎勵自信的順從，所以「換上一個 AI 標註者」這件事本身，並不能讓你脫離第 3 篇導讀裡的任何一種失敗模式。
仍有爭論之處
先從最具體的爭論談起：AI 回饋真的比得上人類回饋嗎？那些令人鼓舞的研究，落在「有用性」與「無害性」上，在這兩件事上裁判主要需要的是品味和基本的安全感。懷疑者指出，這些進步一開始就倚賴「有一個夠強的裁判」，而且未必能延伸到最棘手的案例、尤其是「誠實」——正是在這個維度上，「對裁判聽起來好」和「實際上為真」分歧得最厲害。在一個摘要基準上追平 RLHF，是真實的證據；但它還不是「AI 回饋能在前沿監督推理」的證據。
接著是更深的隱憂：自我拉拔（bootstrapping）。你正在用一個模型——一個本身也只是不完美地對齊的模型——去幫忙對齊另一個模型。樂觀者主張這沒問題、甚至是必要的：憲法可稽核、流程在經驗上有效，而且 AI 的協助是唯一能隨能力一同擴展的東西。悲觀者則回應，這冒著一種風險：一個失準的傾向被「強化」而非「矯正」，且沒有任何人類能穩當地核對結果——正是這套做法本該解決的可擴展監督失敗。此外還有一個真實的顧慮叫「安全洗白」（safety washing）：一個系統可以被弄得「看起來」安全——光鮮、有原則、在展示中難以被激怒——卻在真正要緊的地方並不安全。這兩種立場都有認真的研究者持守，而誠實的答案是：我們還不知道它最終會偏向哪一邊。
第三個爭論則完全不是技術性的：誰的憲法？選擇原則是一個價值問題，而非工程問題，而「明文且可稽核」本身並不解決「由誰來決定」。這是活生生的、而非假設的問題——Anthropic 曾做過實驗（有時稱為「集體憲法式 AI」），蒐集公眾意見來起草原則，正是因為一部由單一實驗室撰寫的憲法，難免被指控為「一家公司的偏好，被打扮成中立的規則」。讓價值觀「現形」是進步；但要「對它們取得共識」，以及「對誰有資格設定它們取得共識」，是一個更難、也尚未完成的問題。
重點整理與接下來的去向
退一步看，形狀很清爽。RLHF、RLAIF、憲法式 AI，是同一台機器由不同來源餵養：人類比較、AI 比較，以及由一部明文憲法所引導的 AI 比較。每一步都換來規模（憲法還換來透明度），而每一步也都保留了「從代理學習」的所有限制。這整一階的貫穿主線，正是偏好資料本身——它從何而來、編碼了什麼，以及你能多用力地、安全地對它優化。
這就為這一階的最後一篇導讀鋪好了路。這裡的一切，仍然搭在「獎勵模型加 RL」這套裝置上，連同它所有會動的零件與不穩定性。下一篇導讀要問一個誘人的問題：你能不能完全跳過獎勵模型，直接從偏好配對來優化策略？那就是直接偏好優化（DPO）及其親族——更簡單、更便宜、更穩定，也有它們自己誠實的但書。而偏好資料，無論是由人類還是由 AI 裁判標註，始終是它們全都倚賴的東西。