脈絡長度限制（context length limits）

模型一次只能關注固定長度的一段文字——它的「脈絡窗（context window）」，以詞元數來計。你想要它一併考慮的所有東西，你的指示加上文件、再加上目前為止的對話，全都得塞進那扇窗裡。超出去，最舊的材料就會掉出邊緣：模型就是再也看不到它了，就像桌面只有那麼大，最早的紙張一多就會滑落到地上。

由此有兩個後果。在一場長對話裡，早期的來回可能悄悄退出視野，於是模型忘掉了你一開始設下的某條限制。而餵進一份巨大的文件，並不保證模型真的用上了全部——塞得進窗裡是「必要」，但不足以讓模型公平地權衡每一個部分。脈絡窗已經變得非常大，這有幫助，但「更大」不等於「可靠」；長輸入會帶來它自己的失靈，也就是中段被忽略。