大型語言模型代理與工具使用
代理記憶(agent memory)
大型語言模型只「記得」塞得進它當前脈絡視窗的東西,而在長任務裡那很快就會塞滿。代理記憶(agent memory)是模型周圍的鷹架,讓它能儲存有用的事實——它試過什麼、學到什麼、使用者的偏好——之後再把相關的片段拉回來,這樣它在一段長執行裡才不會一直遺忘、一直重複自己。
實務上,記憶按存活時間分。短期(工作)記憶就是保留在脈絡裡的近期對話;長期記憶住在模型之外的資料庫或向量儲存中,代理把筆記寫進去,需要時再取出相關的條目,貼回提示裡。這跟 RAG 用的檢索想法一樣,只是套用在代理自己的歷史上,而不是一份文件集合。
記憶是讓一個代理「能在任務中學習」和「每一步都從空白開始」的分水嶺。但儲存下來的記憶也可能過時、錯誤或彼此矛盾,所以決定要留什麼、取回什麼、忘掉什麼,本身就是設計裡很難的一部分。
又稱
另見