建構大型語言模型應用與前沿
大型語言模型應用模式(LLM application patterns)
當夠多人用 LLM 來開發之後,少數幾種反覆出現的「形狀」就浮現了——就像普通軟體裡的設計模式。認得它們能省下你重新發明輪子的工夫:新問題一來,你常常就能說「這是個檢索問題」或「這需要一個代理人」,伸手去拿一份現成的食譜,而不必從零開始。
常見的模式包括:用單一一次提示呼叫處理簡單的轉換;串接(chaining),讓一個模型的輸出餵給下一步;路由(routing),用一個便宜的分類器把每個請求送到對的專用提示或模型;檢索增強生成,抓取文件來為答案紮根;以及代理人(agent),讓模型在一個迴圈裡自行決定一連串的工具呼叫。許多真實系統會把好幾種組合起來——一個路由器擺在檢索流水線前面,而它的答案再餵給最後的格式化步驟。
這些模式是設計用的詞彙,而非僵硬的模板,真正的本事在於挑出能解決問題的最簡單那一種。一個常見的錯誤,是在一個寫得好的單次提示、或一條固定的兩步串接就更便宜、更快、也好除錯得多時,卻去動用一個複雜的自主代理人。先從簡單做起,只有當具體的失敗逼著你時,才加上更多結構。
另见