生成模型理論

連續正規化流(CNF)

連續正規化流用單一條常微分方程取代一疊離散的可逆層。你不再問每一層如何扭曲一個點,而是指定一個由神經網路學到的速度場,讓點沿著它流動固定的時間。無窮多個無窮小變換的疊合就是這條 ODE 的解,因此流可以「深」到積分器所選擇的程度,而所有時刻共用同一組權重。

決定性的簡化是瞬時變數變換:當點流動時,其對數密度的變化率等於速度場散度的負值,於是總對數似然可沿軌跡積分這個散度而還原。這把昂貴的 Jacobian 對數行列式換成了一個跡,而這個跡能用 Hutchinson 隨機跡估計器廉價地估出。訓練最初是用伴隨法穿過 ODE 解器做反向傳播,但現代做法以免模擬的流匹配來訓練同一個速度場,遠為穩定且可擴展。

CNF 是機率流 ODE 與流匹配背後的統一物件:擴散的確定性取樣器恰好就是一個 CNF,而今天大多數大型連續生成器都是用迴歸而非最大似然訓練的 CNF。

\frac{\mathrm{d}\,\log p(x_t)}{\mathrm{d}t}=-\nabla\!\cdot v_\theta(x_t,t)

瞬時變數變換:沿軌跡積分散度即得精確的對數似然。

伴隨法提供常數記憶體的梯度,卻在數值上可能很脆弱;這種脆弱正是免模擬流匹配在大型模型上取代它的主要原因之一。

又称
CNFneural ODE flow連續正規化流