建構大型語言模型應用與前沿
代理型應用前沿(agentic applications)
LLM 產品的前沿是代理人(agent):模型不再只回答一個問題,而是被給定一個目標、一組工具,以及自行採取許多步驟的自由——自己決定要做什麼、動手去做、觀察結果,然後持續下去,直到工作完成。想像一個助理能讀懂你的請求、搜尋網路、執行程式碼、編輯檔案,並在一個迴圈裡查核自己的工作,而不只是回覆一次。
一個代理人跑著一個迴圈:模型看到目標與可用的工具,它選一個動作(往往是一次工具呼叫),系統執行它並把結果餵回去,模型再決定下一步。記憶把狀態帶過各個步驟,規劃把大任務拆成小任務,迴圈持續到模型判斷目標已達成或撞上某個上限。真實的代理型產品會用嚴格的工具權限、步數與成本預算、供真人核可的檢查點,以及厚重的防護欄把它包起來,因為一個自主迴圈出錯起來,代價可能很高。
代理人是最令人興奮、也最不成熟的模式。它們解鎖了真正全新的產品——能完成多步任務、而不只是聊天的軟體——但每一步都可能出錯,而錯誤會在一個長迴圈裡層層累積,所以可靠性是核心的挑戰。目前的狀態真實卻不均勻:在有好工具與嚴密監督、界定清楚又可驗證的任務上,代理人運作良好;在又長又開放的自主上,它們仍然脆弱。多數正式環境裡的代理人,都是刻意被約束的,而非完全放任。
又稱
另見