湧現推理能力（emergent reasoning skills）

湧現推理能力，是那些在較小模型裡基本不存在、卻在模型跨過某個規模門檻（大小、資料、運算）後出現的能力，有時還相當突然。一個小模型在多步算術或一道刁鑽邏輯謎題上的得分接近瞎猜；把它放大，到某一點表現就從無用躍升為可用，彷彿一項能力被打開了。這個說法捕捉到的驚奇是：同一套訓練配方做得更多，竟能產出質變的新行為，而不只是舊行為的更平滑版本。

這些躍升有多真實、有多陡峭，仍有爭論，而這場爭論是健康的。某些看似的飛躍，是嚴苛的「全有或全無」評分造成的假象；改用較寬厚、更分級的指標來量，曲線看起來就是平滑而非階梯狀。無論如何，實用的教訓站得住腳：模型今天欠缺的能力，可能隨下一次規模擴大而到來，這使得從當前行為去預測未來行為，著實困難。正是這份不可預測，讓人們如此仔細地研究規模律，並對那些斬釘截鐵宣告「硬限制」的主張保持謹慎。