實驗設計與 A/B 測試

樣本數計算

在上線前算出:每組需要多少使用者,實驗才有公平的機會偵測到你在乎的效果。它在四件事之間取得平衡:你想抓到的效果大小(MDE)、指標有多吵(它的變異數,variance),以及你對「假警報」和「漏掉真效果」的容忍度。

測試做得太小,即使真的有改進,你也很可能只看到「無顯著差異」——白做一場。做得大得離譜,又會拖慢決策。這個計算把這些取捨化成一個具體的數字,你再依照每日流量把它換算成「測試必須跑多久」。

一個粗略的經驗法則:每組所需樣本數隨變異數增加、隨效果大小的平方而減少——把 MDE 減半,所需使用者數大約變成四倍。

又稱
sample-size estimation