保留組

刻意被長時間（數週到數月）留在舊體驗的一小群使用者——即使某個改變已經對其他所有人上線了——好讓你能量測它「真正的、長期累積的」影響。

個別的 A/B 測試各自顯示一點短期提升，但這些收益隨時間可能淡化、重疊、甚至互相抵消。一個長期運行的保留組能回答更大的問題：「把這一季推出的所有東西加總，使用者比起我們什麼都不推，到底好了多少？」代價是被保留的使用者會錯過改進，所以保留組通常規模小、且有時間限制。