大型語言模型編排框架（LLM orchestration frameworks）

一旦一個應用要依序做好幾次模型與工具呼叫，你就需要「水電管線」：得有東西來管理提示、在步驟間傳遞資料、跟向量庫對話、解析輸出，並在失敗時重試。編排框架（orchestration frameworks）就是提供這套接線現成積木的函式庫——LangChain、LlamaIndex 等等——讓你用零件組出一條流水線，而不必親手寫下每一條連接。

這些框架提供了一些抽象：提示模板、把步驟串起來的鏈（chain）、檢索器與文件載入器、承載對話狀態的記憶、輸出解析器，以及讓模型自選工具的代理人迴圈。它們也把各家模型供應商的介面標準化，於是把一家換成另一家，是改設定而非重寫。你把這些元件組成一張描述應用流程的圖。

框架能加速原型開發，但也帶來一項相依、一段學習曲線，以及一層可能遮住「實際送進模型的是什麼」的抽象——這會讓除錯成本與品質變得更難。許多團隊一開始用框架，後來又把需要完全掌控的部分剝回成單純的 API 呼叫。怎麼選，取決於你有多少客製邏輯；框架是方便，而非必需。