A/B测试（A/B testing）

离线指标能告诉你模型在过去的数据上得了多少分，却没法告诉你真实的人是否会真的反应更好。A/B测试通过跑一场真实的实验来弄清这一点。你把用户随机分成两组：A组保留当前版本（对照组），B组拿到新版本（变体组）。然后你观察实际发生了什么——点击、购买、停留时长——并加以比较。

那味神奇的配料就是随机。因为用户是靠抛硬币被分到A或B的，所以两组在其他一切方面平均而言都相像——年龄、心情、设备、时段。于是，如果B组买得更多，那个新版本就是最说得通的原因，而不是两组之间某种隐藏的差别。这和随机临床试验是同一套逻辑，这也正是为什么A/B测试是科技界最接近「真正的因果实验」的东西。

做对了，它就是回答「这个改动到底有没有帮助？」的黄金标准。但陷阱遍地都是，值得敬畏。提前偷看结果、一看好看就立刻收手，会抬高假阳性。样本太小会误导人。跑上几十个测试，必然会有几个纯靠运气显得显著。而且A/B测试衡量的，是「此刻在线的那些人」的短期行为——它可能漏掉长期效应、新鲜感的消退，或是对那些没被纳入实验的用户的伤害。一场干净的A/B测试，能精确地回答一个真实的问题；它并不能回答每一个问题。