為什麼過度參數化的網路仍能泛化

教科書的圖像，以及它如何崩解

古典統計學習講了一個乾淨的故事。當你增加模型的容量，訓練誤差單調下降，而泛化差距逐漸拉開；偏差–變異權衡（bias–variance tradeoff）說測試誤差呈 U 形，在容量（capacity）的某個甜蜜點達到最小，超過之後過度擬合（overfitting）就接管一切。隨之而來的建議是：絕不要讓模型把帶雜訊的資料完美內插——一旦完全擬合，你就只是把雜訊背了下來。

現代深度學習無視這個建議，反而蓬勃發展。最先進的網路常常擁有遠多於訓練樣本的參數（parameters），把訓練損失壓到零，甚至能完美擬合隨機重貼標籤的資料——卻仍能在真實標籤上漂亮地泛化。古典理論並沒有錯，它只是不完整：它描述的是一個我們大致上已經離開的區間。

過度參數化與內插

當一個模型擁有足夠的自由參數可以把訓練集內插——把訓練損失壓到（近乎）零——我們就說它過度參數化。過度參數化與內插（overparameterization and interpolation）是深度學習理論的起點：存在一整個達到零訓練損失的權重流形，而它們的泛化能力天差地別。優化不只是找到「某一個」解，而是從龐大的解集中「挑選」出一個，這個挑選決定了一切。

這重新定義了核心問題。問題不再是「模型容量是不是太大？」，而是「在所有零訓練損失的解之中，為什麼基於梯度的訓練會落在能泛化的那些解上？」古典的經驗風險最小化（empirical risk minimization）無法回答，因為每個內插解的經驗風險都一樣（都是零）。答案必定來自架構與優化器所隱含的某種「偏好」——這是本路線會反覆發展的主題。

\theta^{\star} = \operatorname*{arg\,min}_{\theta}\ \lVert \theta \rVert \quad \text{s.t.} \quad f_{\theta}(x_i)=y_i,\ i=1,\dots,n, \qquad p \gg n

在所有能插值数据的参数解中，梯度训练隐式地挑出范数最小的那一个。

雙下降：U 形曲線只說了一半

把容量軸延伸到遠超過內插門檻，會出現一個驚人的形狀。測試誤差先沿著古典 U 形上升到模型首次完美擬合資料的那一點——內插門檻（interpolation threshold），誤差常在此飆高——然後它不但沒有爆炸，反而再次下降，往往落到比古典甜蜜點還低的新全域最小值。這就是雙下降（double descent），它在模型大小、訓練時間與資料量上都會出現。

\gamma=\frac{p}{n}: \quad \mathrm{Risk}(\gamma)\ \text{peaks at}\ \gamma=1\ (p=n),\ \text{then descends again as}\ \gamma\to\infty

测试风险恰好在插值阈值 p = n 处达到峰值，随后再次下降——这就是双重下降。

直覺是這樣：就在門檻上，擬合資料的方式恰好只有一種，模型被迫採用一個扭曲、高範數、對雜訊極度敏感的內插函數。越過門檻後，你重新獲得了在眾多內插函數之間「選擇」的自由；優化器此時可以挑一個平滑、低範數的解。更多參數買到的不是更多記憶，而是更多找到簡單擬合的空間。同樣的邏輯也解釋了沿著隨機梯度下降（SGD）訓練時間出現的「epoch 雙下降」。

良性過度擬合：內插雜訊卻不付代價

把這個想法推到最極端。拿帶有真正雜訊的標籤，把它們擬合到恰好零訓練誤差，然後看測試誤差會怎樣。古典觀點認為這是致命的——你已經背下了雜訊。然而在高維中，過度參數化的模型可以把雜訊吸收到幾乎不影響新點預測的方向上。這就是良性過度擬合（benign overfitting）：內插函數只在每個帶雜訊的訓練點周圍局部尖起，幾乎處處仍然平滑，所以擬合雜訊是無害的。

這套理論（在線性回歸與核方法上已被乾淨地推導出來）把良性過度擬合歸因於資料的譜（spectrum）：當存在許多低變異方向、能吸收雜訊而不扭曲訊號子空間時，它就會發生。它究竟是良性、溫和還是災難性的，取決於那些特徵值衰減得多快——這是一個把內插與特徵空間幾何精確連起來的陳述。

\mathbb{E}\,[\,R(\hat{\theta})-R^{\star}\,]\ \lesssim\ \underbrace{\lVert\theta^{\star}\rVert^{2}\,\tfrac{1}{n}}_{\text{bias}}\ +\ \underbrace{\sigma^{2}\!\left(\frac{r_{0}(\Sigma)}{n}+\frac{n}{R_{n}(\Sigma)}\right)}_{\text{variance from noise}}

超额风险分解为偏差项加上一个噪声项；当协方差谱有长长的低方差尾部时，该噪声项保持很小。

重新定義這個領域的問題

把這些線索匯整起來，就是本路線其餘篇章的議程。古典理論從未被推翻，只是被超越了。真正的問題更尖銳：

在無窮多個內插解中，訓練究竟隱式地偏好什麼？（第 3 篇，隱式正則化。）
在任何可處理的極限下，我們能否精確描述訓練後的網路？（第 2 篇，無限寬度核。）
解集的幾何長什麼樣？它是否出奇地簡單？（第 4 篇，連通性與坍縮。）
在這條路上會發生哪些奇異動力學？古典界限到底適不適用？（第 5 篇，前沿現象。）