對撞機實驗與分析

盲分析與結果合併

人——即便是謹慎的科學家——也會看到自己希望看到的東西。如果你一邊盯著某個鼓包是否長大、一邊不停地微調你的選擇切割,那麼遲早,你會在從未有意作弊的情況下,把一次漲落雕琢成一個「訊號」。盲分析正是為了防範這種誘惑而發明的紀律:你在刻意對自己隱藏答案的同時,設計並固定你的整套分析——每一條切割、每一種方法、每一項不確定度——只有等一切都鎖定之後,才「揭盲」去看結果。

在實踐中,盲法可以有幾種形式。你可以隱藏訊號區(新粒子會出現的那個狹窄質量窗)裡的數據,僅用邊帶數據和模擬來發展整套方法;你也可以把所有數字都偏移一個保密的量,直到最後才揭曉。無論哪種,規則都是:一旦揭盲,你就不被允許再為了追求一個更好看的結果而繼續改動分析。這就排除了那種本會悄然滲入的無意識偏倚——它來自針對你正想要去評判的那批數據進行優化。

合併是與之互補的思想:把來自不同衰變道、不同實驗或不同年份的結果匯聚成單一一個更強的陳述。一個在好幾個彼此獨立的衰變道裡都只是微弱可見的訊號,合起來就可能越過發現門檻;而至關重要的是,一個獨立實驗的相互印證,能防範某台探測器特有的失誤——這正是為什麼希格斯由ATLAS和CMS聯合宣布。一個坦誠的注意點是:合併必須謹慎進行:各結果往往共享相同的系統不確定度(同一個亮度測量、同一套 PDF),若天真地把它們當作完全獨立,便會高估合併後的顯著性。

在希格斯搜尋裡,雙光子道和四輕子道,單獨都沒有達到五倍標準差。只有在把這些衰變道合併之後——再加上ATLAS和CMS各自獨立報告——結果才從一絲苗頭變成一項令人信服的發現。

盲法防止你自欺;合併與獨立印證則讓結果變得堅實。

盲法對付的是無意識的偏倚,而非舞弊;合併也不只是把數字相加:各結果之間共享的系統不確定度必須小心處理,否則合併後的顯著性會被誇大。

又稱
blindingblind analysiscombination盲分析结果合并联合分析