實驗設計與 A/B 測試
最小可偵測效果(MDE)
你的實驗在現實上最小能偵測到的「真實改進」幅度。在開始前就先決定它:「我只在乎抓到至少 1% 的提升;比這更小的不值得追。」
MDE 決定了你樣本數的一切——想偵測 0.1% 的變化,需要的使用者數遠遠多於偵測 5% 的變化,因為微小的效果很容易藏在隨機雜訊裡。新手常把 MDE 設得不切實際地小,然後納悶為什麼這測試需要十億個使用者;請挑一個「偵測得到、又值得付出努力」的效果大小。
又稱
你的實驗在現實上最小能偵測到的「真實改進」幅度。在開始前就先決定它:「我只在乎抓到至少 1% 的提升;比這更小的不值得追。」
MDE 決定了你樣本數的一切——想偵測 0.1% 的變化,需要的使用者數遠遠多於偵測 5% 的變化,因為微小的效果很容易藏在隨機雜訊裡。新手常把 MDE 設得不切實際地小,然後納悶為什麼這測試需要十億個使用者;請挑一個「偵測得到、又值得付出努力」的效果大小。