資料為中心的轉向：為何資料集就是模型

從以模型為中心到以資料為中心

過去十年，預設的研究循環是固定資料集，然後在架構、最佳化器與損失函數上搜尋。以資料為中心的人工智慧（data-centric AI）把這個循環反過來：固定一個堪用的模型，改成有系統地迭代資料。這個賭注是經驗性的——在多數成熟的基準上，一旦你有了合理的模型，多一筆樣本帶來的學習往往多於多一層網路。你問的不再是「哪個函數類別能擬合這份資料」，而是「哪些資料能讓這個函數類別表現良好」。

這並不是否定規模。擴展律（scaling laws）依然成立，但它描述的是在固定資料分布下、損失作為詞元數與參數量的函數。一旦你改變了分布——去重、過濾、重新配比——整條曲線就會位移，往往等同於買到了一個數量級的額外算力。苦澀的教訓（the bitter lesson）說善用算力的通用方法會勝出；而以資料為中心的工作，正是在決定那些算力到底看到什麼。

讓「品質」可量測

在被「可操作化」之前，品質這個詞毫無用處。資料品質指標（data-quality metrics）把模糊的直覺拆成可量測的面向：標籤雜訊率、輸入空間的覆蓋度、冗餘度、類別平衡，以及標註者或來源之間的一致性。每個面向都能被估計、被長期追蹤，並連結到下游效果。一個有 5% 標籤雜訊、又充滿近似重複的資料集，並不是「稍微差一點」而已——它可能無論模型多大都會封死可達到的準確率。

先選定一個目標下游指標（準確率、校準度、一套基準），讓每個資料決策都有可量測的回報。
在一個乾淨的保留切片上估計雜訊與冗餘等面向，而不是在訓練集本身上。
做一個小型的資料消融：用原始資料集，對比同樣大小但經品質控管的子集，分別訓練並比較。
把差距歸因到某個具體面向，再把心力投到彈性最大的地方。

\Delta \;=\; M(\mathcal{D}_{\text{clean}}) - M(\mathcal{D}_{\text{base}}), \qquad |\mathcal{D}_{\text{clean}}| = |\mathcal{D}_{\text{base}}| = B

数据干预的真实效果是在固定样本预算 B 下测得的指标差距——这样质量就不会与数量混淆。

槓桿論證

為什麼資料的影響這麼大？因為多數大型資料集（dataset）並不位於效率前緣：它們含有重複、被錯標的長尾，以及大量冗餘的群集，這些對泛化（generalization）幾乎沒有貢獻，卻消耗真實算力。資料修剪（data pruning）的結果顯示，你有時能打敗冪律擴展曲線——用更少、更好的樣本達到相同損失——這在只調模型時是不可能的。

資料也是分布偏移（distribution shift）誕生之處，同時也是它能被治癒之處。如果部署環境與訓練不同，再聰明的損失函數也救不回缺失的訊號；你得靠改變資料集裡的內容來修正。這就是整個學習軌反覆出現的形狀：用指標診斷、在資料上介入、量測下游的變化量。

P_{\text{train}}(x,y) \;\neq\; P_{\text{deploy}}(x,y)

精确刻画分布偏移：训练与部署来自不同的联合分布——这是任何损失函数都无法弥合、唯有更好的数据才能解决的差距。

本軌會建立什麼

我們會從診斷一路爬到一個能自我改進的循環。下一篇學習用可信學習（confident learning）與程式化標註（programmatic labeling）找出並修正標籤錯誤。接著用去重（deduplication）、品質過濾（quality filtering）與配比最佳化（mixture optimization）策展網路規模的語料。再以Shapley 估值與影響函數（influence functions）分配功勞。最後用主動取得（active acquisition）與課程排序（curriculum ordering）閉合這個循環。