實驗設計與 A/B 測試

CUPED(變異數縮減)

一種讓 A/B 測試更靈敏的技巧,做法是把「可預測的、實驗前就存在的雜訊」扣掉。名稱來自 Controlled-experiment Using Pre-Experiment Data:你用每位使用者在測試之前的行為(例如上週的花費),去調整他在測試期間的指標,移除掉那些跟你的改變毫無關係的差異。

因為檢定統計量取決於變異數(variance),把雜訊縮小就像把解析度調高——你可以用少得多的使用者、或更短的時間,偵測到同樣大小的效果,常常能把所需樣本砍掉三分之一以上。它在「實驗前的行為強烈預測該指標」時效果最好;關鍵是,它不會讓結果產生偏差(bias),只會讓它更銳利。

又称
variance reductioncontrolled-experiment using pre-experiment data