鬆弛的問題
古典 VC 界誠實但悲觀。它取最壞的分佈、最壞的假設，以及一個隨原始維度成長的複雜度——於是對現代過參數化模型而言，這個界往往大於一，亦即什麼都沒保證。然而這些模型確實泛化。現代的方案不是拋棄一致收斂，而是用最壞情況所忽略的額外結構去精煉它：間隔的大小、相關函數的變異數、輸出的可壓縮性，以及先驗的角色。四種精煉，四處被找回的鬆弛。
間隔：以信心控制容量
間隔理論（margin theory） 觀察到：一個分隔資料時還留有餘裕的分類器，應比勉強壓線的分類器更值得信賴。把間隔形式化為預測的帶號信心，你便能證明一個界——它取決於該類別的 Rademacher 複雜度，但以 1/間隔縮放，而原始維度完全消失。一個在百萬維中具大間隔的線性分隔器，其泛化界由間隔支配，而非由那百萬支配。
這正是 支援向量機（SVM） 的理論核心——最大化間隔，字面上就是在最小化這個容量項，是第 2 篇 SRM 原則的具體化。間隔界也首次為「提升法（boosting）即使不斷加入分類器仍拒絕過擬合」提供了可信的解釋，而間隔式的歸一化複雜度論證，至今仍是試圖解釋深度網路的一條活躍線索。
两类点之间有一条分隔线和阴影间隔带；加宽间隔会移动边界。
局部化：只有相關的那顆球重要
全域 Rademacher 複雜度 度量的是整個類別，但 ERM 終究只落在最佳假設附近——那些高風險的垃圾根本無關。局部化 Rademacher 複雜度 利用了這點：它把複雜度限制在「變異數小（等價地，超額風險小）」的子球上。由於低風險函數同時也有低變異數，這個局部化的量小得多，再透過一個不動點（fixed-point）論證把它餵回去，便得到快速速率——泛化落差的階為 1/m，而非悲觀的 1/sqrt(m)。
局部化将上确界限制在最优假设附近的低方差球内；收敛速率由次根函数 ψ 的不动点 r⋆ 决定。
代價是更銳利的機械：局部化需要 Talagrand 不等式來處理上確界的集中，以及第 3 篇 Bernstein 給我們的變異數項。回報則是「只說『終究會』的界」與「吻合實測速率的界」之間的差距——局部化正是學習理論贏得「在數量上被信賴」這份資格的方式。
壓縮：你能摘要的假設
樣本壓縮（sample compression） 提供了一種截然不同、完全不需任何容量度量的保證。若你演算法的輸出能僅由 m 個訓練樣本中的 k 個重建出來——一個壓縮集（compression set）——則它能泛化，而界只取決於 k 與 m。SVM 是最佳代言：它完全由其支援向量決定，因此支援向量的個數就是一個壓縮大小，而少量支援向量直接證明了良好的泛化。
样本压缩界：从训练好的模型读出压缩规模 k，无需任何容量度量即可控制风险。
PAC-Bayes：在假設分佈上的界
PAC-Bayes 用假設上的分佈重新框定了一切。固定一個與資料無關的先驗 P，讓學習產生一個後驗 Q，定理便把 Q 下的平均真實風險，約束為 Q 下的平均經驗風險加上一個形如 sqrt(KL(Q‖P) / m) 的複雜度項。容量不再是類別的大小，而是從先驗到後驗的 KL 散度（KL divergence）——資料逼你新增了多少資訊。緊貼先驗，你付出的就少。
PAC-Bayes 界：后验 Q 下的平均真实风险由其经验风险加上与固定先验 P 的 KL 信息距离所控制。
兩點使 PAC-Bayes 與眾不同。其一，它是唯一為真正的深度網路產出過非空洞泛化界的框架：透過最佳化後驗——通常是圍繞訓練權重的一個噪聲分佈——研究者在真實影像分類器上得到了小於一的數值，而那裡每一個 VC 或範數式的界都鬆得天文。其二，它對「平坦性」給出有原則的說明：一個能容忍權重噪聲的後驗會集中於平坦極小值，從而把 PAC-Bayes 正式連結到古典理論碰不到的 良性過擬合 與 雙重下降（double descent） 現象。
# PAC-Bayes (McAllester form), with prob >= 1 - delta:
# E_{h~Q}[ risk(h) ]
# <= E_{h~Q}[ emp_risk(h) ]
# + sqrt( ( KL(Q || P) + log(m/delta) ) / (2(m-1)) )
# choose Q to minimize the RHS -> a trainable, computable bound