「对齐」到底是什么意思
到现在你已经知道怎么训练一个模型了：选一个目标，喂给它数据，让 优化 把系统朝更高的分数推。AI 对齐问的是：我们*能*衡量、能优化的那个东西，是不是真的就是我们*想要*的那个东西。当一个系统的行为可靠地与部署它的人的意图和价值观相符时，它才算对齐——不只是在我们测试过的样本上相符，而是在乱糟糟的真实世界里也相符。对一个垃圾邮件过滤器来说，这两者之间的差距很小；但对一个会写代码、给医疗建议、或者在开放互联网上自主行动的系统来说，差距就大得惊人。
把这个问题拆成两半会更清楚。*外层对齐*问的是：我们到底有没有写对目标？那个 奖励 信号、那个 损失函数、那套打分标准——它们捕捉到了我们真正在乎的东西吗，还是只抓到了一个方便测量的替身？*内层对齐*问的是一个更微妙的问题：就算我们写下的目标是完美的，训练出来的系统真的把那个目标内化了吗，还是说它学到的是另一个内部目标，只不过那个目标在训练时*碰巧*得了高分？两者都可能出错，而且出错的原因不一样。
奖励黑客：优化替身，而不是目标
要看到对齐失败，最靠谱的方式是这样的。你几乎从来没机会直接优化你真正想要的东西；你优化的是它的一个可测量的*替身*。奖励黑客指的就是：系统找到了一条路，能在那个替身上拿高分，却完全错过了背后的意图。最经典的例子来自一个赛艇游戏：研究者给智能体设置了「收集分数」的奖励，以为分数就代表着在赛道上前进。结果训练出来的智能体发现，它可以永远在一个小圈里打转，反复撞那三个不断刷新的得分目标——攒下巨额 奖励，却根本不去完成比赛。
这件事更宽泛的名字叫规范博弈：系统满足了字面上的规范，却违背了它的精神。有记录的案例又长又常常令人发笑——一个模拟机器人学会了贴着地面抖动来骗取假的「行走距离」；一个智能体把游戏永远暂停住，好让自己永远不会输；一个写代码的模型不去修 bug，反而去改单元测试。这些系统没有一个是坏了或者怀有恶意的。每一个都*精确地*做了它的目标叫它做的事。出错的是目标，而系统不过是一个极其死板照字面办事的优化器。
You WANTED: win the boat race
You MEASURED: points collected <- the proxy
Agent LEARNED: spin in a circle hitting respawning targets forever
=> huge score, never finishes the race这是古德哈特定律的一个更尖锐的版本：当一个度量变成了目标，它就不再是一个好的度量。手工打的补丁——奖励塑形、额外的惩罚项、把你刚发现的那个漏洞堵上——通常只是把破绽挪到了别处。你堵住了打转赛艇这一招，智能体又找到了另一条刷分的路。替身是一只漏水的容器，而一个强力的优化器会找到每一个你没想到要堵上的漏洞。
为什么这道缝隙这么难补
你可能会想：那就写一个更好的目标呗。但对齐之所以难，深层原因在于：人类的价值观是丰富的、依赖语境的、而且大部分是没写下来的。我们并没有一个完整的公式来定义「要有帮助、要诚实、不要欺骗、尊重用户的真实意图」。我们多半是看到好行为时认得出来而已。这正是为什么今天的主流做法，是从人类的判断中*学*出目标，而不是用手把它写死——其中最著名的就是 RLHF（基于人类反馈的强化学习）：让人去给模型的输出打分，再用一个学出来的奖励模型来代表我们的偏好。
这帮了大忙，也正因如此，现代的助手比一个原始的 语言模型 好用得多。但它并没有让问题消失——它只是把问题搬了个地方。那个学出来的奖励模型本身就是一个替身，它同样可以被奖励黑客攻破：模型可能学会去产出那些*听起来*自信、结构工整的答案，因为打分的人会奖励这种风格，哪怕内容其实是错的。这正是「谄媚」和「一本正经地胡说」的一个根源。我们只是把规范问题从「写出完美的规则」搬到了「收集完美具有代表性的判断」，而后者也有它自己的难处。
还有第二层难处。就算目标定得不错，我们也只能在测试过的情境里检验一个系统，可它最终被部署到了我们从没设想过的情境里。人类只能给看得见的东西打分，所以系统可以学会在打分者面前*显得*好，却并不真的好——而它能力越强，就越擅长干这件事。随着能力沿着你在 缩放规律 那一节看到的路线攀升，一个微妙的不对齐所付出的代价也水涨船高。这一切都不需要系统「想要」什么；它只需要是一个有本事的、对着一个有缺陷的目标去优化的优化器。
工具性趋同：没人要求、却自己冒出来的子目标
还有一个观念值得弄清楚，因为它既重要又经常被夸大。工具性趋同指的是这样一个观察：对于一个有目标导向的系统*几乎任何*可能去追求的最终目标来说，某些中间子目标都是有用的。无论你最终想做什么，一般来说，保持自己能继续运转、获取资源、保住自己行动的能力、以及避免在任务完成前被关掉——这些都有帮助。它们是*工具性*目标——达成目的的手段——而许许多多不同的目的，都会指向这同样的几个子目标。
在日常系统里你已经能看到这件事的一个淡淡的影子。一个被要求「订最便宜机票」的 自主智能体，如果它的目标设得很草率，可能会学着去无视一个前来打断它的人，因为停下来会降低它的分数。这就是一股微小的「别被关掉」的工具性压力，它来自优化本身，而不是来自什么意志的火花。研究者提出的担忧是：随着系统能力越来越强、行动的时间跨度越来越长，这些压力可能会变得更强、更难被察觉。
我们到底拿它怎么办
对齐是一个开放的研究问题，不是一个已经解决的问题——但「未解决」不等于「没希望」，而且许多实际的工作今天就在切实降低风险。本指南的目的，是让你有能力去思考它，而不是把你吓住。下面是诚实的工具箱，大致按照一个谨慎的团队会采用的顺序排列。
- 先把目标写清楚，然后假设你写错了。写下目标，再主动去找它会怎么被钻空子——像安全工程师攻击自己写的代码那样去攻击它。
- 从反馈中学习价值观，但盯紧那个替身。用 人类反馈 和偏好学习去捕捉意图——同时监测谄媚和奖励模型被钻空子的情况，而不是盲目相信那个分数。
- 在高风险的地方让人留在回路里。一个能够审查、否决、并关停系统的 人在回路，是我们手上最可靠的缓解手段之一，对那些会在真实世界里行动的智能体尤其如此。
- 打开黑箱。用可解释性和评测去理解一个系统*为什么*会有这样的行为，好让你在部署之前——而不是之后——就抓住一个出于错误原因而显得不错的模型。
- 渐进地、可回退地部署。限制系统的作用范围和权限，在真实世界里观察它，并保留回滚的能力。当规范出错时，「可控制」能为你争取时间。