為什麼要替狀態分類？
到目前為止你已能完整描述一條鏈：轉移矩陣 P 收納了每一個單步跳躍，而n 步矩陣 P^n——正如上一篇 Chapman-Kolmogorov 所保證的，由 P 取冪次而得——告訴你 n 步之後你可能身在何處。所以你會算。但會算還不等於*懂*。兩條鏈即使都只是隨機矩陣，長遠的命運卻可能天差地別，而差別就藏在各個狀態的性格裡。這篇指南，就是要教你讀出那份性格。
我們會替每個狀態掛上三個問題。第一是常返對瞬返：一旦離開這個狀態，我保證會回來，還是可能一去不返？第二，若真的回來，平均*要花多久*——有限還是無限？第三是週期：我的回返是否被鎖在固定的節拍上（只在某個數 d 的倍數步發生），還是能在不規則的時刻發生？這三種標籤絕非閒置的分類學。它們決定了這條鏈究竟有沒有平衡狀態、會不會收斂到那個平衡，以及收斂得多快。接下來兩篇指南的一切，都建立在它們之上。
常返與瞬返：還會再見到「家」嗎？
固定一個起始狀態 i，令 f(i) 為「鏈從 i 出發、至少回到 i 一次」的機率。光這一個數就把所有狀態一分為二。若 f(i) = 1，狀態 i 是常返的：回返必然發生。若 f(i) < 1，狀態 i 是瞬返的：確實有一份機率，也就是 1 - f(i)，使得鏈離開 i 後再也回不了家。整套常返與瞬返的理論，都從這一個回返機率長出來。
由此推出一個漂亮的結論。鏈每次身在 i 時，「將來會再回來」的機率都是 f(i)，且與過去無關——這正是馬可夫性質在起作用，因為「身在 i」抹去了歷史。於是造訪 i 的總次數就像反覆擲幣：以機率 f(i) 繼續回返、以機率 1 - f(i) 停止回返。若 f(i) = 1，你永遠回返——*無窮多次*造訪。若 f(i) < 1，造訪次數服從幾何分配、平均值有限為 1 / (1 - f(i))——鏈造訪 i 幾次後便永遠拋棄它。常返意謂被造訪無窮多次；瞬返意謂只被造訪有限多次。中間沒有灰色地帶。
這給出一個乾淨的計算判準，直接用你已會建構的矩陣冪次就能跑。從 i 出發、造訪 i 的期望次數，等於對所有 n >= 0 加總 P^(n)(i, i)——把對角元沿著 P 的每一個冪次加起來。狀態 i 是常返的，恰恰當這個級數發散到無窮；是瞬返的，恰恰當這個級數收斂為有限。於是「這個狀態常返嗎？」就化成「某個 n 步回返機率的級數發散嗎？」——一個關於 P^(n)(i, i) 尾巴的問題。
Return probability f(i) = P(ever return to i | start at i)
f(i) = 1 -> RECURRENT -> visited infinitely often
f(i) < 1 -> TRANSIENT -> visited ~ 1/(1 - f(i)) times, then gone
Matrix test (sum the diagonal across all powers):
expected visits to i = SUM over n>=0 of P^(n)(i, i)
diverges (= infinity) -> RECURRENT
finite -> TRANSIENT正常返與零常返：回家的路有多長？
常返保證你*終將*回家，卻對*何時*隻字未提。於是常返本身又依期望回返時間一分為二。令 m(i) 為「從 i 出發、回到 i 所需步數」的平均值——一種特殊的平均擊中時間。一個常返狀態若 m(i) 有限（回返以穩定而健康的速率到來），稱為正常返；若回返雖然必然發生、m(i) 卻是無窮（你總會回來，但平均等待重得足以讓均值爆掉），則稱為零常返。
零常返聽來矛盾——保證回返，期望回返時間卻無窮——但這正是你在重尾隨機變數那裡見過的同一種弔詭：一個事件可以機率為 1，而它的等待時間卻沒有有限均值。關鍵在於，零常返只可能發生在*無窮*狀態空間上。在有限鏈中，機率無處可慢慢漏走，所以每個常返狀態都自動是正常返；而且（這是個方便的事實）有限鏈一定至少有一個常返狀態——它不可能處處瞬返，因為鏈在每一步都必須*待在某處*，而可待之處只有有限多個。
何苦費神區分這些？因為正常返恰恰是「真正的平衡存在」的條件。當一條鏈正常返時，平穩分配 pi 存在，而長遠待在 i 的時間比例等於 pi(i) = 1 / m(i)：平均回返時間的倒數。你很快就彈回去的狀態，承載高平衡權重；你只懶洋洋才回返的狀態，承載得少。零常返與瞬返的鏈沒有像樣的平衡——在零常返情形 m(i) 無窮，於是 1/m(i) 塌縮為 0，沒有一個誠實的機率分配能存活。請記牢 pi(i) = 1/m(i) 這個關聯；下一篇指南會把它擺在正中央。
週期：踏著僵硬的節拍前進
即使是個漂亮的常返狀態，也可能因為節奏而拒絕安定下來。想像在河的兩岸之間跳躍、每一步都過河一次：從左岸出發，只能在偶數步——2、4、6、……——之後回到左岸，絕不可能在奇數步回去。這種被迫的節拍就是週期，它是橫亙在一條鏈與穩定長遠分配之間的最後障礙。
精確地說，狀態 i 的週期是「所有可能回返的步數 n」的最大公因數——也就是所有滿足 P^(n)(i, i) > 0 的 n 的 gcd。在河流例子裡，回返只在偶數 n 發生，所以 gcd 是 2、該狀態週期為 2。若這個 gcd 等於 1，狀態便是非週期的：回返可在不規則、互質的時刻發生，沒有僵硬的循環。一個極簡單的非週期充分條件是自環——若 P(i, i) > 0，則一步即可回返，而含有 1 的集合的 gcd 就是 1，節拍隨之被打破。哪怕只有一個能讓鏈原地不動的狀態，都足以扼殺週期性。
類性質：成群分類，而非逐個狀態
這裡有一條省力的定理，讓上述一切變得可行。常返、正／零常返之分，以及週期，全都是類性質：互通的狀態——回想從鏈的結構而來的互通類，其中 i 與 j 互通意指彼此皆可從對方到達——必然共享同一種分類。若一類中有一個狀態常返，該類每個狀態都常返；若一個正常返，全體皆然；若一個週期為 2，全體皆是。所以你絕不逐個替狀態分類。你把鏈劃分成互通類，然後給每個*類*貼上單一的常返型別與單一的週期。
還有一條結構捷徑。一個互通類若沒有箭頭逃離它，便是*封閉的*——一旦進入就永不能離開。有限鏈上的封閉類是常返的；一個*開放*（非封閉）類則是瞬返的，因為總有一條正機率的出路，而在無窮多次造訪之中，你終究必然會取道而去、再也不回。於是有限鏈的圖像是：鏈先在瞬返（開放）類間漂流一陣，接著落入某個封閉類、從此長住其中。這恰恰就是吸收鏈的故事，其中封閉類就是單一的吸收狀態。
最友善的情形把一切串了起來。當整個狀態空間是單一互通類——從任何地方都到得了任何地方——這條鏈便是不可約的。此時整條鏈作為一個整體要嘛全常返、要嘛全瞬返，並共享同一個週期。最乾淨的定理都從這裡出發：一條不可約、非週期、正常返的鏈擁有唯一的平穩分配，並從任何起點收斂到它。一個著名的無窮例子讓這些標籤現出威力——整數線上的簡單隨機漫步在 1 維與 2 維是零常返的（會回返，但期望等待為無窮），到了 3 維以上卻是*瞬返*的：線上或城裡的醉漢終究會踉蹌回家，但在三維空間中隨機飛行的鳥兒，也許再也見不到牠的巢。