強化學習是什麼
狀態與觀測(state vs observation)
狀態(state)是對情境的完整描述——所有對「接下來會發生什麼」有影響的東西。觀測(observation)則是智能體實際看得到的部分,常常只是狀態的一小塊。打撲克的人知道自己的牌和場上的下注(觀測),卻不知道對手的暗牌(真實狀態的一部分)。地圖不等於疆域。
當觀測涵蓋了所有相關資訊,我們說這問題是完全可觀測的,這時可以把觀測直接當成狀態。當它做不到時——視野狹窄的機器人、拿不到明天新聞的交易員——問題就是部分可觀測的,單一快照可能會誤導人。常見的解法是記住歷史:把最近幾幀疊起來,或維護一份內部摘要,讓智能體不是只憑一瞥模糊的畫面就行動。
「狀態」有時指真實的世界狀態,有時指智能體用觀測建立的內部狀態;要看上下文判斷指的是哪一個。
另见