自主智能體(autonomous agent)
/ aw-TON-uh-muss AY-junts /
自主智能體,是一種打算讓它自己長時間跑下去的AI智能體——給它一個高層目標,它就自行拆出子步驟、採取行動、對結果作出反應,幾乎不用人推一把,一路走到它認為完成為止。它的反面,是那種你得一回合一回合去操控的工具:在這裡,你說一句「給我做一個能用的麵包店網站」就走開,指望它帶回來的是成品,而不是一團亂麻。
自主是一個旋鈕,不是一個開關。在低檔,人對每個重要動作都要批准;在高檔,智能體自由行動,只在最後才回來匯報。多數真實系統都被有意撥向低檔一側,因為智能體在無人監督下走得越多,跑偏的機會就越多,而每步那一點點錯誤率,在長時間執行裡相乘起來,會變成近乎必然的失敗。早年那些著名的「完全自主」演示,搶眼歸搶眼,卻以不可靠出名,常常打轉、卡死,或把錢燒在胡鬧上。
正因如此,自主把這個領域裡其他一切的賭注都抬高了。一個在世界中行動、卻沒人逐步把關的智能體,需要護欄:限制它能碰什麼、設它不能超的預算、在做任何不可逆的事之前先警示人類。更高的自主,既是真有用,也是真更危險——恰恰在這裡,可靠性、對齊、安全不再是抽象的憂慮,而成了「一個得力助手」與「一場昂貴事故」之間實打實的分界。
面對「研究我們前三名競爭對手,並把摘要發郵件給我」,一個低自主度的智能體會在每次搜尋前先給你看、在發郵件前先徵求同意。一個高自主度的,則會悄無聲息地全做完,郵件就那麼冒出來了——這很方便,直到它信心十足地發來一份建立在「它把競爭對手認錯成別人」之上的摘要。
自主是個旋鈕:自由越多,越方便,也越多出錯的途徑。
「完全自主」大多是願景,而非現狀的描述。長時間無人監督的執行之所以失敗,是因為每步的錯誤會累積;務實的功夫,在於判斷一項任務能安全承受多大的自主、又該在哪裡插進一個人或一道硬限制——而不是把人徹底拿掉。