連續時間馬可夫鏈與其生成元（continuous-time Markov chain and its generator）
/ MAR-kov /
離散時間鏈以整步滴答前進，但真實事件發生在連續時間裡不規則的時刻：顧客到來、原子衰變、機器故障。連續時間馬可夫鏈（CTMC）就是活在連續時鐘上的無記憶過程。它在一個狀態裡停留隨機的一段時間，然後跳到新狀態 —— 且馬可夫性質在每一瞬間都成立：給定當前狀態，未來與它已在那裡停留多久、或是怎麼來的，皆獨立。
連續時間中的無記憶性，迫使每個狀態的停留時間服從指數分配 —— 指數分配是唯一無記憶的連續等待時間。動態由生成元（或速率矩陣）Q 掌握。它的非對角元素 q(i, j)（i 不等於 j）是直接從 i 跳到 j 的速率；每個對角元素 q(i, i) 為負，使每列加總為 0，記錄離開 i 的總速率。從狀態 i 出發，鏈等待一段速率等於總離開率的指數時間，然後以正比於 q(i, j) 的機率跳到 j。把時間剝離後留下的是嵌入跳躍鏈，一條只記錄所造訪狀態序列的普通離散時間鏈。
生成元扮演先前轉移矩陣的角色。經過時間 t 的轉移機率是 P(t) = e^(Qt)，即矩陣指數 —— 它是 P^n 的連續時間對應物。平穩分布現在解 pi Q = 0（而非 pi P = pi），而細緻平衡寫作 pi(i) q(i, j) = pi(j) q(j, i)。CTMC 是排隊理論（M/M/1 隊伍）、生滅與族群模型、化學反應網路、以及可靠度工程的語言 —— 凡是事件在連續時鐘上以隨機速率發生之處皆然。
一個 M/M/1 隊伍：顧客以速率 lambda 到來、以速率 mu 被服務，狀態為等待人數。從狀態 n（n 至少為 1）出發，鏈以總速率 lambda + mu 離開，往上跳（一次到來）或往下跳（一次離去）。它的生成元有 q(n, n+1) = lambda、q(n, n-1) = mu、q(n, n) = -(lambda + mu)。狀態 n 的停留時間是速率 lambda + mu 的指數分配。
CTMC 等待一段由離開率決定的指數時間，然後跳躍；生成元 Q 記錄所有的速率。
指數停留時間是被迫的，不是隨意選的 —— 它是「唯一」無記憶的連續等待分配。若停留時間是固定或均勻的，過程在連續時間下便不是馬可夫，因為你已等了多久將能預測你何時離開。