一致收斂界

經驗風險最小化要能奏效，前提是：對每一個候選假設同時而言，訓練誤差都是真實誤差可信賴的替身。一致收斂正是這個保證：不只是某個固定假設的經驗風險收斂到其真實風險（這由大數法則即可給出），而是整個類別上的最壞落差會隨資料增加而縮小。若整個類別一致收斂，那麼最小化訓練誤差就不會把你嚴重誤導。

人們控制的是「真實風險與經驗風險之差」在類別上的上確界。基本配方是把一個集中不等式（控制單一假設）與聯集界或對稱化（一次為全部假設買單）結合，而代價就是類別的容量——由 VC 維度、覆蓋數或 Rademacher 複雜度度量。結果的形狀是：以一減 delta 的機率，對所有假設，真實風險至多為經驗風險加上一個複雜度項再加上一個平方根信賴項。那個複雜度項，正是區分可學習類別與不可學習類別的關鍵。

一致收斂對學習而言是充分的，但出人意料地並非總是必要。存在可學習的問題——某些凸隨機優化、以及過參數化的內插器——其中沒有任何一致收斂界是緊的，然而某個特定演算法仍然泛化。這道落差促成了以穩定性與 PAC-Bayes 為基礎的分析，它們直接界定被選中的假設，而非整個類別。