預訓練目標（pretraining objective）

大型語言模型（LLM）的學習，就是在玩一場規模龐大的「猜下一個詞」遊戲。給它一句話、把後面藏起來，讓它猜，猜錯就輕輕修正一下。把這件事重複數兆次，模型便慢慢吸收了文法、事實與推理的模式——沒有人教它任何規則，只是一次又一次把它推向更貼近真實文本的預測。

具體而言，目標是讓模型對「每個真正的下一個詞元，在給定前文的條件下」指派盡量高的機率——等價地說，就是把這些詞元的平均交叉熵（負對數似然）降到最低。每個權重都透過梯度下降調整，使正確的接續變得稍微更可能。這個單純的損失，放到網路規模的資料上，就把隨機初始化的權重變成了一個能用的語言模型。

它的美妙之處在於不需要任何人工標註：文本自己就是監督訊號。但要小心：這個目標只獎勵「照原樣重現文本」，並不獎勵真實、安全或有幫助。那些特質要靠之後的微調與對齊才補得上。