實驗設計與 A/B 測試
檢定力分析
規劃階段的步驟,問的是:「如果真的存在這麼大的效果,我的實驗實際偵測到它的機率有多少?」這個機率就是統計檢定力(statistical power),團隊通常以 80% 以上為目標。
檢定力是型二錯誤(Type II error)的另一面——明明有效果卻沒抓到。檢定力分析把樣本數、效果大小、變異數、顯著水準(significance level)綁在一起,讓你看清取捨,避免最常見的實驗失敗:一個檢定力不足的測試,只因為太小看不到任何東西,就悄悄回報「這裡什麼都沒有」。
又称