統計學習理論
Vapnik–Chervonenkis 維度(VC 維度)
想像把一小組點交給一個假設類別,要求它用所有可能的方式去標記——一次涵蓋每一種非黑即白的分配。VC 維度就是這個類別能用「所有」這些方式標記的最大點集大小。它是一種最壞情況的表達觸及範圍度量:若一個類別能在 d 個點上實現任意標記,卻在某組 d+1 個點上做不到,則它的 VC 維度為 d。直線上的閾值函數 VC 維度是 1;平面上的半平面是 3。
形式上,一個取二元值的函數類別若在某點集上的限制能實現全部 2^n 種標記,就說它打碎(shatter)了該集合;VC 維度是可被打碎集合大小的上確界。它的威力來自 Sauer–Shelah 引理:VC 維度為有限值 d 的類別,在 m 個點上只能產生多項式量級、約 m^d 種相異標記,而非 2^m 種。把這個成長界代入一致收斂論證,便得到泛化落差以約 (d log m)/m 的平方根速度縮小,且與輸入維度或參數個數無關。
VC 維度解釋了為何看似龐大的類別仍可能泛化,也解釋了為何某些類別永遠無法從有限資料中學會。但它是與分布無關的最壞情況度量,因此常常鬆弛:較大的間隔或良性的資料分布,會使有效容量遠小於 d 所暗示的,這正是後來用 Rademacher 複雜度等資料相依度量加以精煉的原因。
\mathrm{VCdim}(H)=\max\{m:\Pi_H(m)=2^m\},\quad \Pi_H(m)\le \sum_{i=0}^{d}\binom{m}{i}
成長函數計數可實現的標記數;一旦 m 超過 VC 維度 d,Sauer–Shelah 將其上界控制在 d 次多項式內。
VC 維度無限的類別在與分布無關的意義下無法被 PAC 學習——VC 維度有限,正是二元分類類別可學習性的充要條件。
又稱
另見