Fano 資訊下界

要證明沒有任何演算法能擊敗某個誤差——一個下界，即最優性中困難的那一方向——你要顯示資料根本不含足夠資訊，去分辨許多實質相異的可能性。Fano 方法把這件事嚴格化：埋下一大群彼此分得很開、但在統計上卻難以區分的候選真理，並論證任何估計子都必然會混淆其中某些、從而產生誤差。它把「估計很難」轉化為「在眾多假設間做檢定很難」。

把估計化約為在參數空間的一個有限填裝（packing）上的多路假設檢定，該填裝的成員在損失度量上兩兩相隔甚遠、但在分布上彼此接近。Fano 不等式接著以「資料與索引之間的互資訊（或平均散度），除以填裝大小的對數」來下界檢定誤差機率。當候選彼此資訊貧乏（散度很小）卻數量眾多且分得很開時，沒有估計子能可靠地辨識出真者，這便迫使極小極大風險有一個下界。Le Cam 兩點法是兩假設的特例；Assouad 引理是超立方體版本。

Fano 方法是貫穿無母數估計、密度估計、以及日益涵蓋機器學習統計極限（稀疏復原、矩陣補全、學習的樣本複雜度）之極小極大下界的核心引擎。它認證一個達到相符上界的估計子確實最優，而非只是試過的方法中最好的。技藝在於建構那個填裝：太少或太近，界就弱；其藝術在於最大化損失上的分離，同時最小化資訊上的可區分性。