大型語言模型代理與工具使用
人在迴路的代理(human-in-the-loop agent)
讓代理自由行動,在低風險的步驟上沒問題,但你不會想讓它完全自己去匯款、刪檔案,或寄信給客戶。人在迴路的代理(human-in-the-loop agent)刻意內建一個暫停:在一個敏感或不可逆的動作之前,它停下來,請一個人核可、修改或否決這個動作。工作還是代理在做;人則把手放在那些重要的決定上。
實務上,這意味著把某些動作標記為需要確認、並把它們導向一個人,同時讓例行步驟自動執行。人可以核可、調整輸入,或否決並把代理送回去重想。這刻意用一些速度與自主性,換取安全與可歸責——比較慢,但恰好在「出錯會很貴」的地方設了一個檢查點。
它不是萬靈丹:要求核可太頻繁,人就會不看內容地蓋章;太少,有風險的動作又會沒被檢查就溜過去。設計上的挑戰,是選出哪些時刻真的需要一個人——通常是那些有後果、不可逆,或難以回復的——並呈現足夠的脈絡,讓那個人能判斷得好。
又称
另见