實驗設計與 A/B 測試
整體評估準則(OEC)
你在實驗「之前」就先講好的那一個指標(或少數幾個指標經過審慎加權後的組合),用來決定這次改變是贏還是輸。它是實驗用一個數字下的判決。
事先選定 OEC,可以保護你不被「事後在幾十個指標裡撈到一個看起來不錯的」誘惑帶偏。好的 OEC 捕捉的是長期價值、而不只是短期點擊——例如「每位使用者帶來的營收」或「每週活躍天數」,而不是「新橫幅的點擊數」,因為一個花俏卻無用的改變很容易灌水後者。
搜尋引擎以「每位使用者每週的造訪次數」作為 OEC,因此一個讓點擊變多、卻是因為使用者找不到東西而被迫一直搜尋的改變,反而會顯得很糟。
又称