資料整理與資料管線
離群值
離群值(outlier)是離其他資料很遠的一個資料點——例如某個鎮上其他房子都不到一百萬,卻有一棟標價五千萬。它可能是真實的罕見情況,也可能是錯誤(手誤多打了一個 0)。
離群值值得調查,而不是自動刪除。真正的極端值可能是資料裡最重要的點(一筆詐欺、一次破紀錄的事件),而輸入錯誤則應該修正。要依這個值的意義來決定;許多統計量(例如平均數)對離群值非常敏感,這也是為什麼面對偏斜資料時常改用中位數(median)。
「離得很遠」要有規則才可重現——常見的標準是超出 1.5 倍四分位距,或離平均數數個標準差以上。