資料集偏差（dataset bias）
/ DAY-tuh-set BY-us /
資料集偏差，是當你用來訓練模型的例子無法忠實代表模型將真正面對的世界時，悄悄滲進來的那種毛病。一個經典的警示來自真實故事：二戰時，分析人員查看返航的轟炸機，看到彈孔集中在機翼上，差點就去加固機翼——直到一位統計學家指出，他們看到的只是那些倖存下來的飛機。被擊中引擎的，根本飛不回來。他們的資料恰恰缺了最要緊的那些情況。這就是資料集偏差的精髓：在任何演算法開始學習之前，那幅圖景就已經是歪的了。
它有許多變體。抽樣偏差：你的資料過度代表了某些人，又過少代表了另一些人（一個主要用美式口音訓練的語音助理）。歷史偏差：資料如實記錄了一個本就不公的世界（過去的招聘記錄映照著過去的歧視）。測量偏差：你記錄下來的東西，是你真正在乎之物的一個有缺陷的替身（用「逮捕」來衡量「犯罪」）。標註偏差：給資料打標籤的人，帶進了他們自己的假設。每一種情形裡，資料都在「撒謊」——並非出於惡意，而是出於遺漏或扭曲。
它為何重要：幾乎每一次著名的AI失敗，追根溯源都是資料集偏差，而非程式碼裡某個精巧的bug。模型是其訓練資料的一面鏡子；如果鏡子是變形的，再多的數學打磨也扶不正那個倒影。一個令人不安卻誠實的要點是：你通常無法事後靠調演算法來修復資料集偏差——你必須回頭去修正你收集了什麼、向誰收集、又是怎麼測量的。在這裡，「垃圾進、垃圾出」不是一句陳腔濫調，而是核心的鐵律。
一個皮膚癌分類器在實驗室裡達到了驚人的準確率，到了臨床卻屢屢失手。調查者發現，在它的訓練圖像裡，許多惡性病灶旁邊恰好放了一把用來標尺寸的尺子。模型其實部分地學成了「有尺子＝癌症」——這是資料集的一個性質，而非皮膚的性質。
模型學到的，是資料收集方式中一個偶然的怪癖——而非任何人本意中的那個醫學訊號。
一個模型，在「同一批帶偏資料」中劃出的留出測試集上得分很高，到了真實世界裡仍可能慘敗——因為測試集繼承了同樣的盲點。基準測試上的高準確率，並不能證明公平，也不能證明可用；它可能只是說明：偏差是一以貫之的。