統計學習理論
局部化 Rademacher 複雜度
全域 Rademacher 複雜度度量整個類別擬合雜訊的能力——但演算法實際選出的,是近乎最優、低風險的假設,而非類別中那些狂野的高風險角落。何必為你從未使用的容量付費?局部化把複雜度限制在解真正棲身的「低變異數、低風險函數的小鄰域」內,而這個限制能把慢的一除以根號 n 速率升級為快的一除以 n 速率。
不取整個類別的 Rademacher 複雜度,而是在「變異數至多為 r 的函數子集」上計算它,得到一個以半徑 r 為變數的函數。關鍵裝置是次根(sub-root)不動點:找出使這個局部化複雜度恰等於 r 自身的那個 r 值。在一個變異數—風險關係下(Bernstein 條件,即超額損失的變異數被其均值控制,這對強凸或低雜訊問題成立),超額風險便由那個不動點主宰,給出快至一除以 n 而非一除以根號 n 的速率。此分析把 Talagrand 集中不等式與「對變異數遞增之殼層逐層剝離(peeling)」的論證配對使用。
局部化是快速率的技術關鍵,也是現代核方法分析、低雜訊下經驗風險最小化、以及神諭不等式(oracle inequality)背後的銳利工具。它解釋了為何在良性情境中,學習遠快於最壞情況全域界所暗示的。其要求是實在的:一個 Bernstein 或低雜訊條件與損失的曲率;缺了它們(重雜訊、平坦損失),增益就塌回慢的全域速率。
又称
另见