連續時間馬可夫鏈（continuous-time Markov chain）

連續時間馬可夫鏈（CTMC）是取值於可數狀態空間 S 的馬可夫過程 X_t，時間連續流動，但狀態只透過突然的跳躍改變。它是第一冊中離散時間馬可夫鏈在連續時間下的對應物，也是「等待一段隨機時間後跳躍」這類系統的自然模型：佇列長度、族群大小、某物種的分子數、在圖上跳動的粒子。它回答的問題是：當沒有最小時間步可推進時，要如何描述一個在跳躍之間維持常數的馬可夫過程？

連續時間下的馬可夫性會強制出一種特定結構。無記憶性說明：給定現在狀態 i，未來與過去獨立；特別地，到下一次跳躍的剩餘時間必須無記憶，而在半線上這意味著它服從指數分配。因此當鏈進入狀態 i 時，會停留一段速率為 q_i = -q_ii 的指數停留時間，然後跳到某個新狀態 j（j 不等於 i），其選取機率不依賴它等了多久。等價地，在 i 時鏈以速率 q_ij 嘗試轉移到每個 j，最先「響鈴」者把它送過去。這些數 q_ij（非對角為非負，列和為 q_ii = -sum_{j != i} q_ij）構成生成元或 Q 矩陣，而轉移機率 P_t(i,j) = P(X_t = j given X_0 = i) 滿足 P_t = e^(tQ)，即矩陣指數。馬可夫性編碼在半群律 P_{s+t} = P_s P_t（查普曼-科爾莫戈洛夫方程）之中。

CTMC 是應用機率的主力模型——排隊論、可靠度、化學反應網路、族群遺傳學、流行病。其嚴謹理論有一個離散鏈所沒有的微妙之處：在可數（無限）狀態空間上，鏈可能在有限時間內跳躍無窮多次而「爆炸」。此時必須指定後續行為——通常取最小過程，在爆炸時刻將之殺死。要小心：連續時間並不代表連續路徑。CTMC 的路徑是分段常數、右連續（cadlag）的；路徑中唯一的隨機性是所訪狀態序列與停留時間。布朗運動是另一種連續時間馬可夫過程，具有連續路徑與不可數的狀態空間。