生成模型理論
流匹配(flow matching)
流匹配是一種用簡單迴歸來訓練連續生成流的方法,訓練期間既不需模擬也不需似然。你先選一條機率路徑,也就是一串規定好的分布,讓它隨時間把雜訊變形成資料,並且你知道能把樣本沿這條路徑推動的速度場。然後你只要教網路在每個點與每個時刻輸出那個速度,透過最小化均方誤差,就像擬合任何迴歸一樣。
障礙在於:搬運整個混合分布的邊際速度本身是一個不可解的期望。條件流匹配的洞見是:對逐樣本的條件速度(也就是把雜訊搬到單一固定資料的那個速度)做迴歸,會得到與對真正邊際場做迴歸完全相同的梯度,於是損失化為對「雜訊與資料配對」的可處理期望。選高斯機率路徑會把擴散收為特例,而選直線的最優傳輸路徑則給出近乎線性的軌跡,能以極少步數取樣。
流匹配已成為大型連續生成器的首選訓練法,因為它穩定、免模擬,且不依賴路徑的幾何,讓設計者能藉由路徑的選擇在似然品質與取樣速度之間取捨。
\mathcal{L}_{\mathrm{CFM}}=\mathbb{E}_{t,x_0,x_1}\big\|\,v_\theta(x_t,t)-u_t(x_t\mid x_1)\,\big\|^2
把網路速度迴歸到可處理的條件速度;其梯度與不可解的邊際場相同。
擴散與流匹配並非對手:一條高斯機率路徑會讓流匹配重現擴散的目標,差別只在路徑與時間加權的選擇。
又稱
另見