盲分析与结果合并
人——即便是谨慎的科学家——也会看到自己希望看到的东西。如果你一边盯着某个鼓包是否长大、一边不停地微调你的选择切割,那么迟早,你会在从未有意作弊的情况下,把一次涨落雕琢成一个“信号”。盲分析正是为了防范这种诱惑而发明的纪律:你在刻意对自己隐藏答案的同时,设计并固定你的整套分析——每一条切割、每一种方法、每一项不确定度——只有等一切都锁定之后,才“揭盲”去看结果。
在实践中,盲法可以有几种形式。你可以隐藏信号区(新粒子会出现的那个狭窄质量窗)里的数据,仅用边带数据和模拟来发展整套方法;你也可以把所有数字都偏移一个保密的量,直到最后才揭晓。无论哪种,规则都是:一旦揭盲,你就不被允许再为了追求一个更好看的结果而继续改动分析。这就排除了那种本会悄然渗入的无意识偏倚——它来自针对你正想要去评判的那批数据进行优化。
合并是与之互补的思想:把来自不同衰变道、不同实验或不同年份的结果汇聚成单一一个更强的陈述。一个在好几个彼此独立的衰变道里都只是微弱可见的信号,合起来就可能越过发现门槛;而至关重要的是,一个独立实验的相互印证,能防范某台探测器特有的失误——这正是为什么希格斯由ATLAS和CMS联合宣布。一个坦诚的注意点是:合并必须谨慎进行:各结果往往共享相同的系统不确定度(同一个亮度测量、同一套 PDF),若天真地把它们当作完全独立,便会高估合并后的显著性。
在希格斯搜寻里,双光子道和四轻子道,单独都没有达到五倍标准差。只有在把这些衰变道合并之后——再加上ATLAS和CMS各自独立报告——结果才从一丝苗头变成一项令人信服的发现。
盲法防止你自欺;合并与独立印证则让结果变得坚实。
盲法对付的是无意识的偏倚,而非舞弊;合并也不只是把数字相加:各结果之间共享的系统不确定度必须小心处理,否则合并后的显著性会被夸大。