連續時間鏈與跳躍過程

鏈的費曼-卡茨公式(Feynman-Kac formula for chains)

/ FYNE-muhn KATS /

鏈的費曼-卡茨公式是連續時間馬可夫鏈與一個由其生成元加上位勢(一個狀態相依的殺死或折現速率)所構成的線性演化方程之間的橋樑。它把形如 (du/dt) = (Q + V) u 的方程之解——其中 V 是對角的「位勢」——表示為對鏈取期望、並以沿其路徑累積的位勢之指數加權。它是把偏微分方程與布朗運動相聯繫的擴散費曼-卡茨公式在離散狀態下的對應物。

令 X_t 為以 Q 為生成元的 CTMC,令 V(i) 為實值位勢(可把 -V(i) >= 0 想成殺死速率,或把 V 想成折現),令 f 與 g 為狀態空間上的函數。費曼-卡茨公式把函數 u(i, t) = E_i[ exp( integral_0^t V(X_s) ds ) f(X_t) ] 表示為後向方程 du/dt = Q u + V u(初始條件 u(., 0) = f,其中 V 作為乘以 V(i) 的算子)的解。直覺如下:鏈的路徑累積一個權重 exp(integral V(X_s) ds);當 V <= 0 時這恰是一個在狀態 i 時以速率 -V(i) 被殺死之鏈的存活機率,故 u(i,t) = E_i[f(X_t); 鏈尚未被殺死]。一個平穩版本處理折現的無窮時域泛函:對折現率 alpha > 0,預解式 w(i) = E_i[ integral_0^infinity e^(-alpha t) g(X_t) dt ] 滿足 (alpha I - Q) w = g,即費曼-卡茨的線性代數形式。這些表示把線性系統化為期望,反之亦然。

此公式是大型線性系統蒙地卡羅求解、粒子濾波與序貫蒙地卡羅、透射/吸收問題、以及可加泛函(如總報酬或總成本)分析背後的引擎。兩點誠實的說明。機率表示需要可積性——期望必須有限,若 V 過於正(權重爆炸)或鏈在時間 t 前爆炸,可能失效;殺死詮釋(V <= 0)是安全、永遠有限的情形。又,費曼-卡茨是一種表示,並非神奇求解器:它把確定性線性方程轉為一個(可能高變異的)隨機期望,唯有當抽樣鏈比直接解方程更容易時,其實用價值才得以實現。

期望總折現報酬:一個 CTMC 在狀態 i 每單位時間賺取報酬 g(i),以速率 alpha 折現。其價值 w(i) = E_i[integral_0^infinity e^(-alpha t) g(X_t) dt] 滿足線性系統 (alpha I - Q) w = g——一個小型矩陣求逆,便給出無窮時域的期望。

折現費曼-卡茨:無窮時域的期望化為預解方程 (alpha I - Q) w = g。

此表示需要期望有限:過於正的位勢 V 或在時間 t 前爆炸可能使指數權重爆炸。殺死詮釋 V <= 0 是永遠有限的情形。費曼-卡茨以隨機期望換取確定性線性方程——唯有當抽樣比求解便宜時才有用。

又稱
Feynman-Kac for Markov chainskilled/discounted CTMC representation費曼-卡茨公式帶殺死的馬可夫鏈表示