遍歷理論

柯爾莫哥洛夫-西奈熵(Kolmogorov-Sinai entropy)

/ kol-mo-GOR-ov SEE-nigh /

柯爾莫哥洛夫-西奈熵賦予保測系統一個非負數 h(T),衡量其資訊產生率——動力每步產生多少位元真正新的隨機性。它是終於分辨其他一切不變量(遍歷性、混合性、譜)皆無法區分之系統的主不變量,並居於混合層級頂端,在那裡混沌變為定量。

構造(簡述)。對 Omega 的有限可測分割 P = {P_1, ..., P_k},其夏農熵為 H(P) = - sum_i P(P_i) log P(P_i),即觀測你身處哪格的資訊。沿時間細化,形成聯合 P^n = P or T^(-1) P or ... or T^(-(n-1)) P(記錄 n 步格子行程的分割)。T 相對於 P 的熵為 h(T, P) = lim_n (1/n) H(P^n)(極限因 H 的次可加性存在),而柯爾莫哥洛夫-西奈熵為 h(T) = 對所有有限分割 P 取 h(T, P) 的上確界。柯爾莫哥洛夫-西奈定理使之可計算:若 P 為生成分割(其迭代模零生成 F),則 h(T) = h(T, P),故無需取上確界。等價地,由夏農-麥克米倫-布雷曼定理,h(T) 是典型長度為 n 之軌道名稱機率的幾乎必然指數衰減率。

為何 h(T) 具決定性。它是同構不變量(同構系統熵相等),且奧恩斯坦的深刻定理使之對伯努利位移完全:兩個伯努利位移同構,當且僅當它們熵相同。這解決了一個長期問題——例如 (1/2, 1/2) 與 (1/3, 1/3, 1/3) 位移不同構,正因其熵 log 2 與 log 3 不同。熵也廣泛聯繫動力:正熵是 K-系統(混沌)的標誌,零熵刻畫可預測系統(旋轉,及一切具離散譜的系統),而變分原理把測度熵繫於拓撲熵。誠實警告:熵對伯努利位移是完全不變量,但一般並非如此——不同構系統可共享同一熵值(奧恩斯坦-希爾茲等建構了此類例子)。且熵是 (T, P) 的性質而非單獨 T:同一映射對不同不變測度有不同熵,變分原理挑出最大者。

字母表上機率為 (p_1, ..., p_k) 的伯努利位移其熵恰為 h = - sum_i p_i log p_i(單符號分割即生成)。故公平擲幣位移 h = log 2,公平骰子位移 h = log 6,無理旋轉 h = 0——精確量化了擲幣與發條旋轉之間的鴻溝。

熵把「有多隨機?」化為一個數,而(對伯努利位移)那個數決定同構。

熵僅在伯努利位移內是完全同構不變量(奧恩斯坦);一般而言熵相等的兩系統未必同構。且 h(T) 取決於不變測度,而非僅映射本身。

又称
KS entropymetric entropymeasure-theoretic entropyh(T)測度熵