實驗設計與 A/B 測試
偷看(提前看結果)
在 A/B 測試還沒收集到預定樣本數之前,就一再查看結果,並在它看起來「顯著」的那一刻立刻喊停。這感覺很負責,卻會嚴重灌大你的假陽性率(false-positive rate)。
陷阱在這裡:早期結果會劇烈跳動,所以如果你一直看、在第一個幸運的尖峰就停手,你會把純粹的雜訊宣告成贏家——真實的錯誤率可能從 5% 暴增到 20% 以上。解法是:事先決定測試時長、只在結束時下判斷,或改用專為「持續監看」設計的方法,例如序貫檢定(sequential testing)。
為了監看系統健康而偷看(例如查護欄指標有沒有當機飆升)沒問題;危險的是偷看後「提早做出上線與否的決定」。
又称