首詞元時間（time to first token, TTFT）

當你按下送出，第一個字串流出來之前會有一段停頓。那段停頓就是首詞元時間，也是讓一個助理感覺俐落或遲鈍的關鍵。主宰它的不是純粹的生成速度，而是預填充要花多久，再加上請求在佇列裡等待的時間。

首詞元時間涵蓋排隊、整段提示的預填充，以及產出那第一個輸出詞元。它會隨提示長度增加，因為預填充必須處理每一個輸入詞元；也會隨伺服器負載增加，因為請求可能要等一個排程位置。能縮短它的技術包括把預填充和進行中的解碼交錯的分塊預填充、重用共同提示鍵值快取的前綴快取，以及把預填充拆到獨立硬體上。它通常會和詞元間延遲一起回報，以描述完整的串流體驗。