確定性與隨機性環境（deterministic vs stochastic environment）

在確定性環境中，相同狀態下的相同動作總是導向相同結果，就像一個謎題，按下按鈕永遠打開同一扇門。在隨機性環境中，相同的選擇可能讓你落到不同地方、或拿到不同報酬，因為骰子、雜訊或其他無法預測的力量在作用。乾燥地面上的機器人大致是確定性的；同一個機器人在冰上則明顯是隨機的。

隨機性正是 RL 如此倚重期望值的原因。智能體不能憑單一結果來評判一個動作，那個結果可能只是運氣好或運氣壞；它必須對該動作所有可能產生的結果取平均來推理。這也是為什麼好的策略有時是隨機化的、為什麼我們用許多次推演來平均以估計價值，以及為什麼探索與耐心遠比在發條般的世界裡更重要。