湧現能力（emergent abilities）

有些技能彷彿是一次到位的。一個十億參數的模型完全做不了多步驟算術、也跟不上一道刁鑽的指令——它一次又一次地拿接近零分。把它放大、越過某個門檻後，它幾乎是突然就會了。這些小模型沒有、大模型卻擁有，又難以預測的突發能力，就叫湧現能力：損失曲線明明是平滑滑下，技能卻像被打開了開關。

經典的例子包括做三位數乘法、用思維鏈推理作答、以及用脈絡中的範例當場學會一項新任務。在以規模為橫軸的基準圖上，分數會貼著地板橫跨許多種模型大小，然後在一個狹窄的區間裡竄起。這個現象在能力確實先是不存在、後來存在這個意義上是真的；有爭議的是，那個跳躍的陡峭程度究竟是本質的，還是我們測量方式造成的假象。

湧現讓規模化既令人興奮又令人不安：它意味著一個更大的模型可能冒出新能力——無論有用或危險——而那是沒有人訓練過、也沒有人預料到的。