離散時間馬可夫鏈（discrete-time Markov chain）

離散時間馬可夫鏈是最簡單也最有用的無記憶過程：一個東西在一組狀態之間一步一步地跳躍，每次以隨機方式選擇下一個狀態，而選擇方式只取決於它目前所處之處。想像一個棋子在房間網路裡遊走，每個房間都貼出前往各相鄰房間的機率 —— 而那些機率從不取決於棋子是怎麼來的。

三項要素定義了它。第一，狀態空間：所有可能狀態的集合，此處為有限或可數，例如 {晴、雨} 或整數。第二，馬可夫性質：下一個狀態只取決於當前狀態。第三，轉移機率 P(i, j) = P(X_(n+1) = j given X_n = i)，即一步從狀態 i 走到狀態 j 的機率。當這些機率不隨時間 n 改變時（常見情形），這條鏈稱為時間齊性的，整個動態便由一張固定的一步機率表完全掌握。

從這些簡單規則，竟能推出驚人豐富的結論：長期下來鏈把時間花在哪裡、它是否會回到出發點、首次抵達某目標要多久、以及它最終安頓於什麼樣的平衡。馬可夫鏈是隨機建模的主力 —— 它描述天氣、網頁瀏覽（PageRank）、排隊、遺傳、桌遊，以及現代統計背後的抽樣演算法。