資料整理與資料管線

資料清理

資料清理(data cleaning)是修正原始資料問題、讓它值得信賴可供分析的過程:改正錯誤型別、統一不一致的標籤(「NY」「N.Y.」「New York」)、處理遺漏值、移除重複,以及揪出不可能的資料(例如年齡 200 歲)。

它出了名地是資料工作中最花時間的部分——實務上常說一個專案大半時間都耗在這裡。最重要的原則是:用程式清理,而不是手動改格子,這樣每一次更動都被記錄、可重複、可被檢視,而不是悄悄做了一個無法重現的修改。

又称
data cleansingdata scrubbingdata munging