實驗設計與 A/B 測試
護欄指標
你盯著看的指標,目的不是為了宣布勝利,而是確保你沒有造成傷害——頁面載入時間、當機率、退訂率、營收。即使你的改變在主要指標上贏了,一個被踩壞的護欄也可以否決上線。
護欄指標把「別贏了戰役卻輸了戰爭」這條規則寫進制度。一個讓互動提升 2%、卻讓頁面慢了 500 毫秒、或讓客訴翻倍的改版,通常不值得推出。事先定義護欄,能讓興奮過頭的團隊對副作用保持誠實。
又称
你盯著看的指標,目的不是為了宣布勝利,而是確保你沒有造成傷害——頁面載入時間、當機率、退訂率、營收。即使你的改變在主要指標上贏了,一個被踩壞的護欄也可以否決上線。
護欄指標把「別贏了戰役卻輸了戰爭」這條規則寫進制度。一個讓互動提升 2%、卻讓頁面慢了 500 毫秒、或讓客訴翻倍的改版,通常不值得推出。事先定義護欄,能讓興奮過頭的團隊對副作用保持誠實。