那個你希望沒測到的讀數
你把一個樣品滴定四次,得到 10.12、10.15、10.13 和 10.31 毫升。三個結果擠在 10.13 附近;第四個遠遠落在 10.31。一個可疑地遠離其餘值的結果,叫作離群值。誘惑很明顯:刪掉那個難看的,平均值就漂亮了。但刪掉你只是不喜歡的數據,正是誠實的科學悄悄變成虛構的途徑。
有兩種無辜的解釋,而它們要求相反的處理。要麼是真的犯了大錯——你看錯了滴定管、一個氣泡溜了進去、你記錯了數字——這是過失誤差,確實該刪。要麼這個點只是普通隨機誤差裡倒霉的尾巴,是一個你必須保留的合法讀數。難就難在:光看這個數字,兩種情況長得一模一樣。
誠實的第一步:調查,而非刪除
刪掉一個點最乾淨的理由,是有據可查的物理原因。所以在做任何統計之前,先查你的記錄本:你有沒有記下氣泡、灑漏、儀器重新歸零?如果你找到一個記錄在案的失誤,就移除該點並說明原因。如果什麼都沒找到,你就不允許憑直覺刪除——這正是一個公平的統計檢驗大顯身手的地方。
Q 檢驗:給可疑值的公平尺子
Q 檢驗(Dixon Q 檢驗)給出一條簡單、站得住腳的規則。它的思路是:把可疑值與它最近鄰居之間的間隔,和數據的總跨度作比較。如果這個間隔佔整個全距的很大一部分,這個點就太遠了,不可能是普通散布;如果只佔一小部分,它就只是人群的一員。
- 把值排序:10.12、10.13、10.15、10.31。可疑值是 10.31。
- 到最近鄰居的間隔 = 10.31 − 10.15 = 0.16。總全距 = 10.31 − 10.12 = 0.19。
- Q(計算值)= 間隔 ÷ 全距 = 0.16 ÷ 0.19 = 0.84。
- 查 4 個值、95% 信賴度下的 Q(臨界值):0.829。因為 0.84 > 0.829,你可以剔除 10.31。
計算出的 Q 超過了臨界值,所以這個檢驗允許你把 10.31 當作離群值捨棄,對剩下三個求平均。要是 Q 算出來低於臨界值,你就有義務保留每一個點——一廂情願不是統計學。
謹慎使用
Q 檢驗有真實的侷限。只有三四個點時它很弱——很難可靠地區分真正的失誤和單純的壞運氣。絕不要連用兩次去剔除第二個點。而且它一次只判斷一個值,所以對躲在同一側的兩個離群值是盲的。對一個不穩的數據集,誠實的解決辦法幾乎總是多測幾個重複,而不是更使勁地檢驗。
也要記住剔除究竟改變了什麼。去掉 10.31 後,平均值降到 10.133,標準差急劇縮小——你的結果看起來精密得多。這正是為什麼規則必須客觀、且要在你偷看答案之前就定好,絕不能為了討好你期望的那個數字而扭曲。