神經資料的縮放律

探問當你增加神經資料量（神經元、時數、受試者）、模型規模與運算時，表徵或解碼品質是否可預測地——理想上呈平滑冪律——提升，一如語言與視覺所發現的縮放律（Kaplan 式與 Hoffmann／Chinchilla 式曲線）。若此類定律成立，將為整套基礎模型策略背書：以規模換取效能，並事先知道更大的資料集能買到什麼。

誠實的現況是：這是一個具激勵性的假設，僅有部分且初步的實證支持。神經資料集比網路規模語料小上數個數量級且異質得多，而增加受試者可能注入分布偏移，而非乾淨、同分布的規模。早期研究回報更多場次與更多神經元有幫助，但改善是否遵循乾淨、可外推的冪律——以及在何處飽和——仍未定論。應把已發表的縮放曲線視為提示性，而非既定定律。