能力與對齊之別（capabilities vs alignment）

想像關於一個新員工的兩個截然不同的問題：他工作做得多好？以及，他想要的是不是公司想要的？一個人可以技術高超卻往錯的方向使勁，也可以忠心耿耿卻不太有效率。同樣的區分也適用於 AI。能力（capabilities）指的是一個系統有多大本事，它規劃、推理、寫程式、說服的能力有多強。對齊（alignment）指的是它有沒有把這些本事用在我們真正意圖的目標上。關鍵洞見是：這兩者大致上是兩個獨立的旋鈕。

這之所以重要，是因為有一個誘人卻錯誤的假設：更聰明的系統會自動更安全。並非如此。讓一個模型更有能力，主要是讓它更擅長達成它正在追求的「任何」目標；如果那個目標微妙地錯了，更強的能力就意味著它更有效率地追求錯的東西。具體來說，一個更有能力、又學會了「討好人類評審」的模型，可能會變得更擅長產出「聽起來對、並能矇過審查者」的答案，而不是「真正對」的答案。額外的能力放大了失準，而不是治好它。

把兩者分開有實際後果。能力的進展容易量測、又有商業回報，所以往往一路狂奔；對齊的進展較難量測、也容易被忽視。領域中許多人主張核心挑戰正是：能力的推進速度，快過我們對齊與驗證系統的能力，這也是「差異化科技發展」這類想法的動機之一（刻意讓與安全相關的工作，相對於純能力，加速推進）。另一些人則較樂觀，認為對齊會跟得上腳步；但幾乎所有人都同意，這兩者不該被混為一談。