信念狀態（belief state）

當你無法精確看見自己在哪，退而求其次就是一個校準良好的直覺。信念狀態就是把這個直覺嚴謹化：智能體握有的不是單一狀態，而是「在目前為止所有觀測之下，它當前可能身處的所有狀態」的機率分布。一個機器人或許九成確定自己在廚房、一成確定在走廊。

關鍵事實是，信念狀態本身就是馬可夫的：它摘要了整段過去，因此智能體能單憑信念來規劃與選動作，把困難的 POMDP 變回一個關於信念的 MDP。每個新觀測都依貝氏定則更新信念。難處在於信念的空間是連續且高維的，因此精確的信念規劃通常難以求解，只能近似，常用一個會學出自己內部歷史摘要的循環網路來做。