查普曼–柯爾莫哥洛夫方程（Chapman-Kolmogorov equations）

假設你想知道恰好五天內從 A 城走到 C 城的機率，但地圖上只列出單日的跳躍。自然的想法是把旅程在某個中點切開：兩天內從 A 走到某城 B，再三天內從 B 走到 C，並對每個可能的中途點 B 加總。查普曼–柯爾莫哥洛夫方程正是把這個「經由中途站把長途旅程切開」的常識規則，精確地寫出來。

用 P^(n)(i, j) 表示 n 步內從 i 走到 j 的機率。那麼對任何拆分 n = m + r，方程說 P^(n)(i, j) = 對所有狀態 k 加總 P^(m)(i, k) 乘 P^(r)(k, j)。用白話說：n 步內由 i 到 j 的機率，等於對每個可能的半途狀態 k 加總「m 步抵達 k 的機率」乘「由 k 在剩下 r 步走完到 j 的機率」。馬可夫性質正是許可這一切的原因：一旦你 m 步後身在 k，你是怎麼到那裡的對其餘行程毫無影響。

用矩陣語言，這變得異常簡潔：n 步矩陣不過是矩陣乘積，P^(n) = P^m 乘 P^r，特別地，n 步矩陣就是普通的矩陣冪 P^n。所以這組方程，正是「把轉移矩陣相乘」能算出多步機率的機率上的理由。它們是馬可夫鏈整套長期理論賴以建立的基礎。