馬可夫鏈

吸收鏈與基本矩陣(absorbing chains and the fundamental matrix)

有些狀態是陷阱:鏈一旦落入,便永不離開。吸收狀態 i 滿足 P(i, i) = 1 —— 一個攬下全部機率的自環,因此把鏈永遠吞下。吸收鏈是指每個狀態終究都能抵達某個吸收狀態。想想一場終究會結束的遊戲(你贏或你輸),或一個終究會徹底清空的隊伍。有趣的問題變成:我們會掉進哪個陷阱,以及在那之前先遊蕩多久?

把狀態整理成暫態的(終究會離開的)與吸收的。以分塊寫出,轉移矩陣有一個 Q 塊,描述暫態到暫態的移動。核心物件是基本矩陣 N = (I - Q)^(-1),即單位矩陣減 Q 的逆。它的元素 N(i, j) 是從暫態 i 出發、在被吸收前造訪暫態 j 的期望次數。一切都從 N 流出:從狀態 i 出發到被吸收前的期望步數,是 N 的第 i 列之和;而被吸收進各吸收狀態的機率,由 N 乘 R 給出,其中 R 是暫態到吸收的分塊。

為什麼是逆矩陣?N = I + Q + Q^2 + Q^3 + ... 是一個矩陣的幾何級數,數的是第 0、1、2... 步的造訪,而它之所以恰好加總為 (I - Q)^(-1),正是因為鏈是暫態的,Q 的冪縮向零。這單一矩陣把難題 —— 期望遊戲長度、各參賽者獲勝的機會、期望滅絕時間 —— 化為一次矩陣求逆。吸收鏈分析無處不在:賭徒破產、分支過程滅絕、醉漢走向牆壁,以及無數遊戲的「這要花幾回合?」。

賭徒有狀態 0、1、2、3,其中 0 與 3 為吸收態。暫態為 {1, 2},Q 的兩列為 (0, 1/2) 與 (1/2, 0)。則 I - Q 的兩列為 (1, -1/2) 與 (-1/2, 1),而 N = (I - Q)^(-1) 的兩列為 (4/3, 2/3) 與 (2/3, 4/3)。從狀態 1 到被吸收的期望步數是列和 4/3 + 2/3 = 2 —— 與首步分析的答案一致。

基本矩陣 N = (I - Q)^(-1) 計算期望造訪次數;它的列和給出到被吸收的期望時間。

逆矩陣 (I - Q)^(-1) 之所以存在,正因為暫態分塊 Q 的譜半徑小於 1(Q^n 趨於 0)。若某個「暫態」類其實是閉的,Q 便不會縮小、方法就會失效 —— 務必確認每個暫態狀態都真能抵達某個吸收態。

又称
absorbing statefundamental matrixabsorption probabilities吸收態基本矩陣吸收機率