實驗設計與 A/B 測試

序貫檢定

一整套專門設計的統計方法,讓你可以隨著資料進來而一邊查看結果、在證據夠強時提早停止——卻不會像一般偷看(peeking)那樣引爆假陽性。它把你的「錯誤預算」隨時間小心地花掉,而不是全部留到結束時一次用完。

它的吸引力在於速度:明顯勝出(或明顯有害)的改變可以在幾天而非幾週內確認,也不再浪費流量。代價是:換來「可以持續看」這個權利的價格,是在任何單一時刻信賴區間(confidence interval)會稍微寬一些。常見形式包括「永遠有效的 p值」(always-valid p-values)與帶有 alpha 花費的群組序貫設計。

又称
sequential analysisalways-valid inference