馬可夫決策過程
吸收狀態(absorbing state)
吸收狀態是一個你能進去、卻永遠出不來的地方。智能體一旦進入,每個動作都直接繞回同一個狀態,且不再付出任何報酬;遊戲就是結束了。被將死的棋盤、撞毀的車、已達成的目標:每一個都是智能體永遠逃不掉、且不再有獎勵流出的死路。
正是這個小技巧,讓分段式任務能被寫成一個整潔的單一 MDP。把終止狀態設成獎勵為零的吸收狀態,一段「結束」其實只是無限地停留在一個什麼都不發生的狀態裡,於是同一套無限視野的機制、同樣的貝爾曼方程都能套用,無需特例。實務上,記帳會把該步標記為終止,並為下一段重置環境。
又稱
另見