函數近似

狀態聚合(state aggregation)

函數近似最粗、也最直覺的一種形式:把狀態歸成幾群,讓同一群裡的每個狀態都共用同一個價值。這就像一張低解析度的地圖——整個鄰里只貼一個標籤。你學的是每群一個數字,而非每個狀態一個數字,於是龐大或連續的空間就塌縮成寥寥幾格。

它是線性近似的一個特例,用的是 one-hot 的群特徵:x(s) 只在 s 所屬的那一群有一個 1。更新群裡任一狀態,就更新了它們共享的那個價值。因為這些特徵彼此不重疊、群內的權重又由策略的狀態分布決定,所以同策略的聚合是穩定且收斂的;它只是收斂到真值的一個粗略、依分布加權的平均。

解析度被分群方式封了頂——群內會變動的價值永遠無法被表示出來,所以漸近誤差由你的劃分有多貼合真值結構而定。它是很好的教學工具、快速的基準,也是瓦片編碼與粗略編碼的概念祖先。

\hat v(s)=\theta_{g(s)},\qquad g(s)=\text{group containing }s

狀態聚合:每群狀態共用一個參數。

又称
state abstraction by aggregation