狀態空間（state space）

狀態空間是世界可能處於的每一種情境的目錄。對下棋的智能體而言，它是所有合法的棋盤；對恆溫器而言，它可能是當前溫度；對自駕車而言，它是位置、速度與相機像素組成的龐大集合。凡是智能體要把動作做好所需知道的，都該放進狀態裡。

狀態可以是少數幾個離散格子、一串連續數字，或原始影像。這個空間的大小與形狀，大致決定了哪種演算法可行：很小的有限空間可以用一張表解掉，而高維或連續的空間則逼你用特徵或神經網路來近似。設計一個既精簡、又仍滿足馬可夫性質的好狀態，往往是搭建 RL 問題時最難的部分。