極小極大估計率

假設大自然能挑某類別中最難的問題，而你必須在不知它挑了哪個之前就設計出最好的估計子。極小極大率就是你對抗那個最壞情況所能保證的誤差：最壞（在類別上取最大）風險的最好（在估計子上取最小）值。它回答一個統計問題的根本提問——不是「我的方法做得多好」，而是「任何方法到底最好能做到多好」——立下一個無法擊敗的標竿。

形式上，它是「估計子上取下確界、參數類別上取上確界」的期望損失，作為樣本數的函數。確立一個速率有必須相會的兩半。上界給出一個達到該速率的具體估計子。下界則證明沒有估計子能做得更好——做法是把估計問題化約為「在一組精心挑選的有限難例中做檢定」，再套用一個資訊不等式：Le Cam 兩點法、Assouad 超立方體、或 Fano 方法。當兩半在常數倍意義下相合，該速率即為極小極大最優。

極小極大率是統計學認證最優性的方式：維度 d 中平滑度 s 的無母數迴歸，速率為 n 的負「二 s 除以二 s 加 d」次方，把維度詛咒直接暴露在指數上。它指引一個估計子是值得改進、還是已本質最優。提醒在於：極小極大是最壞情況且全域性的；在此意義下最優的估計子，在你實際面對的良性實例上可能遠非最優，這促成了自適應與實例相依的精煉。