去重複

去重複（deduplication）是找出並移除指向同一個真實事物的重複紀錄，讓每個個體只被算一次。當資料從多個來源合併、或表單被送出兩次時，重複就會混進來。

難的地方在於定義什麼叫「相同」：一模一樣的列很好處理，但同一個地址的「Bob Smith」和「Robert Smith Jr.」可能是同一個人被記成兩種寫法（需要模糊比對，fuzzy matching）。移除真正的重複可避免重複計算而灌水總數；移錯了則會悄悄刪掉真實資料，所以一定要依一個慎選的鍵（key）來去重。