世界知識回憶（world-knowledge recall）

世界知識回憶，是模型不去查找任何資料、直接憑它在預訓練中吸收的事實作答。問法國的首都、某本名著的作者，或光合作用如何運作，答案就直接來自模型讀過網路與書籍的一大片內容時、烙進權重裡的模式。從這個意義上說，模型是人類書寫過的大量內容的一份壓縮而模糊的記憶，而許多日常知識能以這種方式被取出，流暢得驚人。

問題在於，這份記憶有損且凍結。常見、被反覆提及的事實儲存得很穩固；罕見或冷僻的事實可能被模糊化、記得一半，或自信地被編造出來，這正是幻覺的根源之一。而且知識停在訓練的截止點上，所以模型不知道之後發生了什麼，也無法察覺自己並不知道。這正是檢索系統存在的理由：當時效性或精確出處要緊時，你透過提示把事實餵進去，而不是信任模型的內部回憶。