斷裂的規模法則（broken scaling laws）

規模法則是一條令人安心的直線——直到它不再是。有時損失對規模的曲線並不會維持單一整齊的斜率：它會彎折、出現轉角，甚至在重新改善前短暫地變差。斷裂的規模法則就是這些偏離單一乾淨冪律的現象的名字；它們之所以重要，是因為跨越一個斷點去天真地外推，可能會嚴重誤導一個數十億美元的訓練決策。

更豐富的描述是平滑斷裂冪律：好幾段斜率不同的冪律，用平緩的過渡縫在一起，於是曲線能隨規模成長而變陡、變平、或換檔。斷點會出現在某個新能力開啟之處、模型用盡一種結構而開始利用另一種之處、或資料或最佳化撞牆之處。有些斷點一旦擬合了斷裂形式就可預測；另一些，像是先進入平台、然後驟降的曲線，從彎折的較小一側看，是真的很難預見。

斷點是雙面刃——變平可能在一個新區間即將點燃前，錯誤地暗示規模化已死；而早期的陡峭斜率，可能美化了一個之後會卡住的預測。它們是外推之所以帶風險的主因。