資料整理與資料管線

可重現的腳本化清理

可重現的腳本化清理(reproducible scripted cleaning)是指把資料整備寫成程式——一段讀進原始檔、產出乾淨檔的腳本——而不是用手改格子。任何人重跑這段腳本,都會得到一模一樣的結果。

這是資料整理中最重要的一個習慣。手動修改是看不見、無法重複的:別人看不出你改了什麼,資料更新時也沒辦法重做。腳本則是一份書面紀錄,可被檢視、可納入版本控制,而且讓原始資料維持不動,所以出錯永遠救得回來。

又稱
reproducible pipelinescripted cleaning