連續時間鏈與跳躍過程

分段確定性馬可夫過程(piecewise-deterministic Markov process)

分段確定性馬可夫過程(PDMP)是一種在隨機跳躍之間確定性地流動的馬可夫過程:跳躍之間它遵循一個常微分方程(或任何確定性運動),而在由狀態相依速率所支配的隨機時刻,它依轉移核跳到一個新點。它是由馬克·戴維斯(Mark Davis)所引入的一般框架,把連續時間馬可夫鏈、具確定性處理的佇列、以及許多混合/隨機混合系統都包含為特例。每當隨機性僅透過跳躍的時機與目標、而非透過連續噪聲進入時,它便是自然的模型。

PDMP 由三個元素指定:確定性流 phi(通常是 dx/dt = b(x) 的解,給出跳躍之間的運動)、跳躍速率 lambda(x) >= 0(跳躍發生的狀態相依強度)、以及轉移核 K(x, .)(自 x 跳躍後新狀態的律)。過程運行如下:從當前點沿 phi 流動,同時一個跳躍鐘以沿流累積的(非齊次)速率 lambda(phi_t(x)) 響起;跳躍時它依 K 移位,流動再恢復。沒有布朗/擴散成分——所有隨機性都在跳躍時間與跳躍目的地。CTMC 是流為平凡(跳躍之間為常數)且狀態空間可數的特例。PDMP 的生成元結合了來自流的傳輸(一階微分)項與積分跳躍項:(A f)(x) = b(x).grad f(x) + lambda(x) integral (f(y) - f(x)) K(x, dy)。邊界行為(流抵達定義域邊緣時的強制跳躍)是資料的一部分。

PDMP 用於建模故障與修復系統、網際網路壅塞(TCP)、具隨機離子通道開啟的神經元膜電位、生物學中的成長-分裂,並日益作為高效非可逆 MCMC 抽樣器(彈跳粒子抽樣器、之字過程)的引擎,其中具罕見速度翻轉的確定性運動勝過擴散式提議。誠實的告誡:若跳躍速率沿流無界,PDMP 可能爆炸(有限時間內無窮多次跳躍),恰如 CTMC 可能爆炸,故需要非爆炸/正則性條件;且 PDMP 確實不是擴散——它沒有連續鞅部分,故其長期與遍歷理論雖強大,所用工具不同於擴散/福克-普朗克機制,而噪聲的缺席可能使遍歷性(不可約性)成為微妙的問題。

TCP 視窗模型:壅塞視窗 x 線性增長,dx/dt = 1,直到以正比於 x 的速率 lambda(x) 發生封包遺失事件,此時視窗減半,x -> x/2。遺失之間運動是確定性的;只有遺失時間與乘性下降是隨機的。這個鋸齒過程是教科書級的 PDMP。

一個 PDMP:確定性漂移被狀態速率驅動的隨機跳躍所打斷——任何地方都沒有擴散噪聲。

PDMP 沒有連續(布朗)部分:所有隨機性都在跳躍時間與目標,故它不是擴散,所用工具也不同。如同 CTMC,若跳躍速率沿流無界它可能爆炸,故需要正則性條件;噪聲的缺席也可能使遍歷性變得微妙。

又称
PDMPPDPDavis's piecewise-deterministic process分段確定性過程PDMP