自主智能体(autonomous agent)
/ aw-TON-uh-muss AY-junts /
自主智能体,是一种打算让它自己长时间跑下去的AI智能体——给它一个高层目标,它就自行拆出子步骤、采取行动、对结果作出反应,几乎不用人推一把,一路走到它认为完成为止。它的反面,是那种你得一回合一回合去操控的工具:在这里,你说一句「给我做一个能用的面包店网站」就走开,指望它带回来的是成品,而不是一团乱麻。
自主是一个旋钮,不是一个开关。在低档,人对每个重要动作都要批准;在高档,智能体自由行动,只在最后才回来汇报。多数真实系统都被有意拨向低档一侧,因为智能体在无人监督下走得越多,跑偏的机会就越多,而每步那一点点错误率,在长时间运行里相乘起来,会变成近乎必然的失败。早年那些著名的「完全自主」演示,抢眼归抢眼,却以不可靠出名,常常打转、卡死,或把钱烧在胡闹上。
正因如此,自主把这个领域里其他一切的赌注都抬高了。一个在世界中行动、却没人逐步把关的智能体,需要护栏:限制它能碰什么、设它不能超的预算、在做任何不可逆的事之前先警示人类。更高的自主,既是真有用,也是真更危险——恰恰在这里,可靠性、对齐、安全不再是抽象的忧虑,而成了「一个得力助手」与「一场昂贵事故」之间实打实的分界。
面对「研究我们前三名竞争对手,并把摘要发邮件给我」,一个低自主度的智能体会在每次搜索前先给你看、在发邮件前先征求同意。一个高自主度的,则会悄无声息地全做完,邮件就那么冒出来了——这很方便,直到它信心十足地发来一份建立在「它把竞争对手认错成别人」之上的摘要。
自主是个旋钮:自由越多,越方便,也越多出错的途径。
「完全自主」大多是愿景,而非现状的描述。长时间无人监督的运行之所以失败,是因为每步的错误会累积;务实的功夫,在于判断一项任务能安全承受多大的自主、又该在哪里插进一个人或一道硬限制——而不是把人彻底拿掉。