大型語言模型代理與工具使用

代理回饋迴路(agent feedback loops)

讓代理顯得像「活的」的,是它會對發生的事做出反應。回饋迴路(feedback loop)就是這個基本循環:代理採取一個動作、世界回傳一個結果、那個結果形塑下一個動作。跑一次搜尋,摘要會引導下一個查詢;跑一段程式碼,一則錯誤訊息告訴你該修什麼。每一輪都受前一輪影響,所以代理是朝目標修正方向,而不是死守一個盲目的計畫。

這是 ReAct、反思和錯誤復原底下共同的引擎——它們全都是把一則觀察回饋進下一個決策的具體方式。迴路的品質取決於訊號的品質:一則清楚的錯誤或一個具體的結果,給了代理真實的東西去對照調整;而模糊或缺席的回饋,會讓它只能用猜的,容易愈走愈偏。

回饋迴路是雙面刃。好的訊號讓代理能在好幾輪之間自我修正;誤導的訊號則可能把它鎖進一個很有自信的錯誤方向,一再重複一個壞掉的動作,只因為沒有任何東西明白地告訴它失敗了。設計代理看到什麼回饋,和設計它的動作一樣重要。

又稱
observation-action loopclosed-loop control