大型語言模型（large language model）

大型語言模型是一張龐大的數字之網，靠一個簡單的遊戲訓練出來：讀一段文字，猜下一個詞。把這個遊戲在人類寫下的海量內容上反覆玩——書籍、程式碼、對話、整個開放網路——模型便慢慢學會了語言的規律。它有點像手機上的輸入法聯想，只是規模大到驚人，於是它不再只是補完一句話，而能寫出整篇文章、翻譯一首詩，或講解一道菜譜。

在它的內部，是一種叫做「變換器」（transformer）的架構，其核心絕招叫「注意力」：閱讀時，模型會權衡前面哪些詞對猜測下一個詞最重要，從而在長段落裡把握住意義。憑著數十億個可調的旋鈕和海量的訓練文本，它建立起一張關於詞與詞如何關聯的豐富內部地圖。

真正讓這類模型了不起的，是一個意外之喜：沒有人手工把語法、事實或推理寫進去。一旦模型與訓練規模足夠大，這些能力便自行「湧現」——規模的躍升帶來能力的躍升。一個常見的誤解，是以為模型在「查資料」或真的「懂了」；其實它只是在預測看似合理的詞。這也是為什麼它可能口氣篤定卻答錯——人們把這種失誤稱為「幻覺」。