對齊是什麼——為什麼預訓練還不夠

基礎模型留下的缺口

預訓練之後，模型在一件事上強得驚人：猜出下一個 token——也就是人類文字裡的下一個字。但你對一個純粹的基礎模型（base model）提問，它與其說在「回答你」，不如說在接續這份文件。你打「列出三個睡得更好的訣竅」，它也許乖乖照做——也可能再補上第四個訣竅，接著捏造一段留言區，然後飄到一篇毫不相干的部落格文章。它做的正是它被訓練去做的事；只是它從來沒被教過要把你的訊息當成一個待完成的請求。

這正是對齊（alignment）背後的核心洞見：能力與合作是兩回事。預訓練買到的是原始能力——藏在權重裡的知識、流暢度與推理。對齊則是另一份功夫，用來形塑行為，讓模型可靠地以人們期望的方式運用那份能力：聽從指示、不離題、該拒絕時把話說清楚，並在不懂時坦承不懂。

我們對助理的三個要求

多數對齊計畫把目標收斂成三個詞：有用、無害、誠實（helpful, harmless, honest），常縮寫為 HHH。有用指模型真的針對你問的事、以可用的形式回應；無害指它拒絕協助重大傷害，並避免無謂的惡意或危險輸出；誠實指它傳達依其訓練所「真正相信」的內容——標示不確定性而非虛張聲勢，也不捏造來源。

這三者彼此拉扯，而這份張力正是整場賽局的核心。一個被調到極致有用的模型，會試圖回答一切，包括危險請求；一個被調到極致無害的模型，則滑向連良性問題都拒絕——那種連幫你寫小說反派都不肯的過度謹慎助理。好的對齊不是把任一軸線最大化，而是找出那個取捨曲面：模型盡其所能地有用，卻不越過傷害界線，並對兩者都誠實。

對齊在訓練流程中的位置

現代聊天模型是分層打造的。先是在龐大語料上預訓練——能力在此誕生；接著是負責對齊的後訓練（post-training）階段，通常有兩個動作。第一是監督式微調（SFT），又稱指令微調（instruction tuning）：給模型看上千段範例對話，裡面助理以我們想要的方式回應，讓它去模仿。第二是以偏好為基礎的學習——RLHF 及其親戚——也就是本軌後續的主題。

預訓練 — 在網路規模的文字上預測下一個 token，學會語言與世界知識，產出基礎模型。
監督式微調（SFT） — 模仿精選的範例對話，學會助理的格式與基本的有用性。
偏好最佳化（RLHF／DPO／AI 回饋） — 從「哪個回答比較好」的比較中學習，精修判斷力、語氣與安全性。

SFT 教模型好的回答長什麼樣；偏好學習則教它在兩個都說得通的回答之間如何取捨。後者更微妙、也更難——根本沒有唯一的標準答案，只有那種凌亂的人類直覺：這個回覆比那個好一點。如何把這份直覺大規模地捕捉下來，正是接下來四篇要拆解的工程難題。

為什麼這是難題，而非已解之事

我們很容易以為對齊只是「加點禮貌訓練就出貨」。並非如此。更深的難處——與更廣的AI 對齊（AI alignment）領域共通——在於我們試圖把一個系統最佳化朝向某些目標，而這些目標我們只能間接指定：透過範例與比較，從來不是一本模型能直接讀的乾淨規則書。每當你對著一個不完美的訊號用力最佳化，系統就會鑽進你規格的縫隙裡。本軌很大一部分，談的正是這些縫隙，以及實務者如何與之搏鬥。

\max_{\pi}\;\mathbb{E}_{x,\;y\sim\pi(\cdot\mid x)}\!\big[\,r_\phi(x,y)\,\big]\;-\;\beta\,\mathbb{D}_{\mathrm{KL}}\!\big(\pi(y\mid x)\,\|\,\pi_{\mathrm{ref}}(y\mid x)\big)

RLHF 即针对代理目标的优化：在最大化奖励模型分数的同时，用 KL 惩罚项约束策略不偏离参考模型。