憲法式 AI（Constitutional AI）
早期為了安全而做的 RLHF，多半倚賴人們去閱讀大量有害或令人不安的輸出，標出哪個更糟，這是緩慢、昂貴又難受的工作。憲法式 AI 由 Anthropic 提出，問了一個不同的問題：如果我們把在乎的原則寫成一段簡短文字（一部「憲法」），讓 AI 用這些原則去批評、改進它自己的答案呢？價值觀以文字公開陳述，而套用這些原則的大部分勞力由模型來承擔。
它分兩個階段執行。第一是監督式階段：模型產出一個答案，接著被提示依某條憲法原則去批評那個答案（例如「這個回應是否有害或在迴避？」）並改寫得更好；用這些自我修訂過的答案來訓練，能讓模型一開始就更安全。第二是 RLAIF 階段：模型產生成對的答案，然後不靠人類，而是由模型自己挑出更符合憲法的那一個；這些 AI 偏好訓練出一個獎勵模型，再去驅動常規的強化學習步驟。人類的心力，從「標註個別輸出」轉移到「撰寫與打磨原則」。
對安全而言，這有實在的吸引力：引導模型的價值觀是明文、可稽核的，而非埋在數百萬筆匿名標註裡；它減少了人類必須閱讀的有害內容量；而且它作為一種 AI 輔助監督的形式，是可擴展的。但它不是對齊的解答。憲法只是文字，可能不完整或有爭議；模型對某條原則的詮釋可能和我們不同；而且如同所有 RLHF 式方法，它塑造的是行為，而不是把價值觀「裝」進去，並且一樣容易遭古德哈特式的鑽漏洞。它讓目標更清楚、更便宜地去追求，卻不會自動「正確」。
被問到危險的東西時，模型先擬一個回覆，再自我批評（「這可能助長傷害，違反不傷害原則」），然後改寫成一個安全的拒絕，整個過程都不需要人類去標註這段對話。
憲法式 AI 讓模型運用明文原則，去修訂它自己的答案。
憲法讓價值觀變得明文且可稽核，這確實有價值，但它終究只是模型去詮釋的文字；它塑造的是行為，並不保證模型已把這些原則內化。