統計顯著性（statistical significance）

你在資料中看到一個隆起，長得跟你期盼的新粒子一模一樣。但隨機雜訊也會產生隆起，而只要你盯著夠多的資料，某處總會不可避免地冒出某個隆起。統計顯著性回答的，是你在慶祝之前必須先問、令人清醒的尖銳問題：若那裡其實除了已知背景什麼都沒有，光靠機運偽造出至少這麼大的隆起，會有多不可能？

你設立一個虛無假設——沒有訊號、只有已知背景——並計算 p 值：背景單獨起伏而產生「與所觀測到的一樣極端、或更極端」之效應的機率。p 值小意味著這種僥倖不太可能。在粒子物理中，p 值習慣用高斯尾部換算成幾個 sigma：3 sigma（p ~ 0.0013，約 740 分之一）算作「證據」，而 5 sigma（p ~ 3 x 10^-7，約 350 萬分之一）是宣稱「發現」的門檻，也是希格斯玻色子在 2012 年必須跨過的那道欄。因為訊號的顯著度大致按 S / sqrt(B) 增長，它會隨資料增多而按 sqrt(N) 改善。

顯著性是眾人公認、防止你被雜訊愚弄的護欄，之所以刻意訂得嚴苛，是因為實驗者要檢視非常多可能的隆起。誠實的警告既深又常被說錯：p 值是「在沒有訊號的前提下、看到這種資料的機率」，而非「沒有訊號的機率」，兩者確實不同（後者需要一個先驗）。一個 5 sigma 的結果並不是「有 99.99997% 的把握是真的」；它陳述的是「背景多罕見才會偽造出它」。而顯著性本身對系統誤差、以及「別處效應」（look-elsewhere effect，即搜尋許多區間會抬高某處出現僥倖的機率）都隻字不提，這兩者都必須另行計入。