規模法則與湧現

冪律損失曲線(power-law loss curve)

把模型的損失對上它的大小,在一般座標上你會看到一條曲線:先急速俯衝,再攤平成一條令人氣餒的長尾。把兩軸都換成對數座標,醒目的事就發生了:那條雜亂的曲線會拉直成一條乾淨的直線。雙對數紙上的直線,正是冪律的招牌——這個領域裡幾乎每一條規模結果背後的關係。

冪律的意思是損失隨資源的某次方倒數下降:L 正比於 N 的負 alpha 次方。兩邊取對數,就變成 log L 等於一個常數減去 alpha 乘以 log N——一條斜率就是該指數的直線方程式。那個斜率就是獎賞:用少少幾次便宜的實驗量出它,你就能讀出大小、資料或算力每增加十倍會換來多少損失下降,遠遠超出你負擔得起去測試的範圍。

但這條線很少能永遠完美筆直。它會在接近不可約下限時彎曲,或在某個新能力開啟時出現轉折——提醒我們,這條整齊的法則是局部的近似,而不是大自然的鐵律。

\log L = \log A - \alpha \log N

對冪律取對數,它就成了斜率為負 alpha 的直線。

又稱
power-law scalinglog-log loss curve