生成模型理論
機率流常微分方程(probability flow ODE)
每一條擴散 SDE 都有一個確定性的孿生:一條常微分方程,其解軌跡在每一瞬間都攜帶完全相同的分布,只是少了隨機的抖動。機率流 ODE 就是這個孿生。想像所有可能樣本構成的雲團沿著固定的流線從雜訊平滑地流向資料,而不是每個粒子各走各的雜訊隨機漫步。由於路徑是確定的,同樣的起始雜訊永遠產生同樣的輸出。
它的得法是去掉反向 SDE 的雜訊項,並把擴散對漂移的貢獻減半,留下一個完全用分數表示的速度場。既然動力學是一條 ODE,這個模型就恰好是一個連續正規化流,因此它的對數似然可沿軌跡積分瞬時變數變換而算出。實務上用標準數值積分器解這條 ODE,而高階解器能以遠少於隨機鏈的函數求值次數達到良好樣本。
機率流 ODE 是把擴散模型連到 DDIM 等確定性取樣器、DPM-Solver 等快速解器,以及精確似然估計的橋樑,而這一切都來自一個用尋常方式訓練的分數網路。
\frac{\mathrm{d}x}{\mathrm{d}t}=f(x,t)-\tfrac{1}{2}\,g(t)^2\,\nabla_x\log p_t(x)
這個確定性速度場的流在每個時刻 t 都重現擴散的邊際分布。
邊際相同、耦合不同:SDE 與其機率流 ODE 共享每個時間邊際,但產生不同的聯合軌跡,所以即使種子相同樣本也會不一樣。
又稱
另見