多重比較

多重比較問題（multiple comparisons）是當你一次做很多檢定時假陽性的膨脹：每個檢定都有自己僥倖的機會，所以在幾十個檢定中，即使什麼都不是真的，幾乎一定會出現至少一個「顯著」結果。在 α＝0.05 下檢定 20 個無用的假設，你預期大約會有一個假發現。

解法是調整門檻以控制整體的錯誤率。Bonferroni 校正把 α 除以檢定的數目（保守但簡單）；控制偽發現率（false discovery rate）的方法，例如 Benjamini–Hochberg，比較不嚴格，在動輒上千個檢定的領域很受歡迎。更深的教訓是：偷看資料後才決定要檢定什麼（p-hacking）會悄悄跑了無數個隱藏的比較。