生成模型理論
整流流(rectified flow)
彎曲的軌跡積分起來代價高昂,因為要準確跟隨一條會拐彎的路徑需要許多小步。整流流反其道而求:盡可能筆直的傳輸路徑,因為完全筆直的路徑一個歐拉步就能走完。它訓練一個速度場去跟隨連接雜訊樣本與資料樣本的直線,之後可選擇性地反覆執行一個把這些路徑進一步拉直的程序。
訓練目標是雜訊點與資料點之間線性插值的恆定速度,也就是它們的差;把網路迴歸到它,正是以直線機率路徑為特例的條件流匹配。單一輪就已給出相當筆直的邊際軌跡。接著的 reflow 步驟透過當前模型把雜訊與資料配對重新耦合並重新訓練,可證明地降低傳輸成本、把軌跡擠向直線,此後一兩步就足以取樣,而蒸餾還能推進到單步。
整流流是數個以流匹配目標訓練的頂尖大型影像與影片生成器的基礎,在那裡,筆直度正是把一個多步的擴散式模型變成少步模型、又不太犧牲品質的槓桿。
x_t=(1-t)\,x_0+t\,x_1,\qquad \dot x_t=v_\theta(x_t,t)\approx x_1-x_0
把速度迴歸到雜訊與資料之間的直線方向;reflow 再把邊際路徑拉直。
筆直與少步取樣並不等於單步品質:reflow 降低傳輸成本,但第一輪的路徑只是近似筆直,因此要真正單步生成仍需蒸餾。
又稱
另見