結構風險最小化（SRM）

純粹的經驗風險最小化若不加約束，會挑出最能擬合訓練資料的最靈活模型——然後過擬合。結構風險最小化為它加上一份良知。把你的假設排成一道複雜度遞增的嵌套類別階梯，然後選擇的不是訓練誤差最低的模型，而是最能在訓練誤差與其所屬階級之複雜度之間取得平衡的那個。它把奧坎剃刀化為一個顯式的優化。

給定一列容量遞增的嵌套類別（以 VC 維度或其他複雜度度量），SRM 在所有階級與其中所有假設上，最小化「經驗風險加上一個由該階級泛化界導出的複雜度懲罰」之和。由於該界在整道階梯上一致成立（透過把信賴度分配給各階級的聯集界），被選中的假設便帶著對真實風險的有效保證。懲罰隨階級指標增長，故 SRM 自動在擬合與容量間權衡，並從資料中選出正確的模型規模。

SRM 是懲罰式模型選擇、正則化路徑與複雜度準則的有原則祖先；支撐向量機的間隔最大化，就是在範數受限類別上的連續 SRM。它的長處是非漸近保證搭配自動容量選擇。它的弱點在實務面：由界導出的懲罰往往過於保守，所以實際上人們通常用交叉驗證取代理論懲罰來調參。