課程式資料排序（curriculum data ordering）

我們先教小孩算術再教微積分，課程式資料排序把同樣的想法用在訓練上：以有意義的順序呈現樣本——通常先易後難、逐步加深——而非一次均勻隨機洗牌。期望是更快收斂、更好的最終最適點與更穩定的訓練，因為早期的容易樣本能在模型必須面對困難、模糊或有雜訊的案例之前，先刻出有用的表徵。

要落實它需要一個難度量測與一個步調函式。難度可以與模型無關（句長、罕見度、人評複雜度）或由模型導出（當前損失、梯度範數、學習速度、信心）。步調函式控制資料池中較難部分在訓練過程中解鎖的速度。變體會反轉直覺：反課程（先難）與自定步調學習，後者讓模型自己決定哪些樣本準備好了，把樣本權重當成與參數一起最佳化的潛在變數。對大型語言模型而言，相關策略會在不同訓練階段依品質、領域或序列長度來排序或加重資料。

證據參差且因任務而異：當任務困難、資料有雜訊、或模型較小時，課程最有幫助，否則可能中性甚至有害——調好的隨機洗牌是個強基準，課程必須真的勝過它才行。