現代資料技術棧與工具
資料版本控制與可重現性
版本控制(version control)指的是保留一份受追蹤的變更歷史,讓你能看出什麼變了、何時變的、由誰變的——必要時還能回退。程式碼有 Git 來做這件事;資料與模型則需要額外的工具(例如 DVC 或湖倉的表格格式),因為資料集又大又一直在變。它服務的目標是可重現性(reproducibility):任何人,包括未來的你,都應該能重跑一份分析並得到相同的結果。
這之所以重要,是因為一份你無法重現的分析,很難被信任、除錯或在其上繼續建構。初學者會踩到的陷阱是:一個結果同時取決於「特定版本的資料」加「特定的程式碼」加「特定的執行環境」——任何一項悄悄改變,數字就跟著跑掉。穩健的做法是把三者一起釘住:用 Git 為程式碼做版本控制、為資料做版本(或快照)、並記錄環境,這樣任何結果都能被追溯回產生它的那組確切輸入。
為一份已發布的報表標記其背後確切的資料快照、程式碼提交與環境,讓它幾個月後仍能被重建。
又称