生成模型理論

Wasserstein 生成對抗網路(WGAN)

經典 GAN 訓練一個判別器去區分真假,但當生成分布與真實分布幾乎不重疊時,這個分類器會飽和、回傳近乎零的梯度,使生成器卡住。Wasserstein GAN 把分類目標換成一把更平滑的距離量尺:推土機距離,它衡量把一個分布的質量搬去匹配另一個分布所需的最小成本。由於這個距離即使在不重疊的分布之間也平滑變化,它處處提供有用的梯度,大幅馴服了訓練不穩定與模式崩潰。

其構造用到 Kantorovich-Rubinstein 對偶,把推土機距離改寫成「在所有一階 Lipschitz 函數上、兩個分布期望之差的上確界」。判別器此時改稱評論家,輸出一個無界的實數分數,並被訓練去最大化那個差,因此它的值近似 Wasserstein 距離,其梯度則引導生成器。麻煩在於落實一階 Lipschitz 約束;原始論文用權重裁剪,但懲罰評論家梯度範數偏離一的梯度懲罰變體可靠得多。

WGAN 把對抗訓練重新詮釋為估計一個最優傳輸距離,給出一個與樣本品質相關的損失,並讓 GAN 訓練明顯更穩定,影響了其後大量的 GAN 文獻。

W(p_r,p_g)=\sup_{\|f\|_L\le 1}\ \mathbb{E}_{x\sim p_r}[f(x)]-\mathbb{E}_{x\sim p_g}[f(x)]

評論家所估計的 Kantorovich-Rubinstein 對偶;一階 Lipschitz 約束讓這個值是真正的距離。

權重裁剪在技術上確實落實了 Lipschitz 性,卻削弱了評論家的容量;梯度懲罰才是標準修法,也是今天多數人所說的 WGAN。

又稱
WGANWasserstein GAN