集中不等式

把夠多的獨立隨機量平均起來，這個平均在任何實用意義下就不再隨機——它緊緊夾在其均值附近，而大幅偏離的機率呈指數衰減。集中不等式把這件事精確且定量地說清楚。它們是學習理論的機率基岩：每一句「經驗風險以高機率接近真實風險」的陳述，最終都倚靠其中之一。

這個工具箱形成一道階梯。Hoeffding 不等式界定有界變數之平均的偏離，其類高斯尾只依賴於變數的範圍。Bernstein 與 Bennett 在變異數很小時加以銳化，以變異數取代範圍而得到更快的速率——這是快速率的來源。McDiarmid 有界差分不等式則超越求和，推廣到任何「改變單一輸入時值變化不大」的函數，這正是對稱化在控制類別上確界時所需。Talagrand 不等式是經驗過程的深層精煉。

選對不等式，決定一個界是慢的一除以根號 m 速率，還是快的一除以 m 速率。Bernstein 型、感知變異數的界支撐了局部化複雜度與快速率學習；McDiarmid 驅動幾乎每一個一致收斂證明。背後的常設假設是獨立性或弱相依；重尾或強相依需要專門工具，且可能把指數尾退化為僅多項式的尾。