頻譜偏差與頻率原則（spectral bias / frequency principle）

網路學習細節是有特定順序的。訓練初期，它們先抓住目標函數平滑、寬廣、低頻的輪廓；要到後來、甚至根本不會，才去填補那些細緻、快速變動的高頻擺動。這種頻譜偏差——又稱頻率原則——意味著網路的第一直覺是先配適一個簡單平滑的近似、再逐步精修，這本身就是一種朝向平滑的隱式正則化。

其機制可透過神經正切核看清楚。把訓練動力學在核的特徵基底下分解，每個特徵分量的學習速率由它的特徵值決定，而對標準網路而言，特徵值隨頻率衰減。因此低頻分量有大的特徵值、學得快，高頻分量有極小的特徵值、學得慢。這解釋了為什麼樸素的座標網路難以表示尖銳的細節，以及為什麼把輸入先經過傅立葉特徵或位置編碼——它們提升了高頻的特徵值——就能讓網路配適精細結構。

頻譜偏差是理解「網路偏好哪一類函數」最有用的鏡頭之一，也直接催生了神經場與隱式表示中的若干設計選擇。