建構大型語言模型應用（building LLM applications）

一個大型語言模型本身，只是一台「文字進、文字出」的引擎；產品則是你圍繞這台引擎打造的一切，好讓真實使用者得到可靠的價值。把模型想成一位能力強、卻不太可預測的員工——建構應用（building LLM applications）就是給它一份職務說明（提示）、適當的參考資料（檢索）、它能使用的工具、對它工作的查核，以及一個讓真正需要答案的人能順手使用的介面。

實務上，一個 LLM 功能就是一條流水線：你接到使用者的請求，用模板與檢索到的脈絡組出提示，呼叫模型——往往不只一次——驗證並解析回來的內容，也許再呼叫工具或資料庫，最後把結果呈現出來。環繞這個迴圈的，是那些不起眼的工程——錯誤處理、紀錄、成本控管、評測與安全——正是它們把一個聰明的展示，變成可靠到能擺在客戶面前的東西。

困難之處很少在模型呼叫本身，而在周邊的系統。展示容易、上線困難，因為語言是開放的：使用者會用你從沒料到的方式表達、模型偶爾會回傳胡言亂語，而提示的小改動會在品質上掀起連鎖反應。把 LLM 開發當成普通的軟體工程來做——有測試、有監控、能優雅地失敗——才是把一個爆紅玩具和一個讓人信任的產品區分開來的關鍵。