大型語言模型 API 整合（LLM API integration）

多數產品並不自己架設模型，而是「租用」一個。一個大型語言模型 API（LLM API）讓你的程式把請求——你的提示加上一些設定——透過網路送到供應商的伺服器，再收回生成的文字，就像你呼叫金流或地圖服務一樣。你寫上幾行程式、交出一把 API 金鑰，一個比你自己能跑的任何模型都還要大的模型，幾秒內就給出回應。

一次典型的呼叫，會送出一串訊息——一段系統指令、目前為止的對話、新的使用者發言——連同模型名稱、溫度、最大詞元數等參數。供應商回傳生成結果，通常還附上輸入與輸出的詞元數，那正是計費的依據。你可以在詞元產生的當下逐字串流，營造即時感，也可以要求結構化的 JSON，或附上模型可呼叫的工具定義。金鑰、速率限制、重試與逾時，都是要在規模化下安全運作所必須處理的環節。

租用託管模型是做出強大功能最快的路，但它也把你綁在供應商的定價、延遲、可用性與內容規範上，並且會把使用者的資料送到第三方。因此正式的整合會用防禦性的程式碼把原始呼叫包起來：遇到暫時性失敗就重試、某個模型掛掉時退回備援模型、為花費設上限，並避免把機密或個資洩漏進提示裡。