基礎與資料科學工作流程
探索式資料分析
探索式資料分析(exploratory data analysis,簡稱 EDA)是對一份資料集帶著開放心態的第一次審視:在投入任何正式檢定或模型之前,你先彙整並繪製資料,以了解它的形狀、找出怪異之處、並形成直覺。目標是讓資料來給你驚喜。
典型的 EDA 包括檢查有多少遺漏值(missing data)、繪製直方圖與散布圖(scatter plot)、並尋找離群值(outlier)或像「年齡 200 歲」這種不可能的值。大部分真正的理解(以及大部分資料品質的災難)都在這裡被發現。要記住的紀律是:你在 EDA 中發現的規律是「待用新資料檢驗的假設」,而不是結論——翻看夠多張圖,人很容易騙了自己。
又稱