隨機策略（stochastic policy）

隨機策略不會鎖定單一動作；它擲的是一顆有權重的骰子。在每個狀態，它給每個動作一個機率，然後從那個分布中抽樣，所以同一個處境在不同次造訪時可能產生不同的動作。可以想像一位撲克玩家固定以某個比例詐唬——這種隨機是刻意的，不是混亂。

它寫作 pi(a 給定 s)，是每個狀態上動作的機率分布。隨機策略在三個方面值回票價：它免費內建了探索；當環境只能部分觀測、或對手可能利用可預測的計畫時，它可以是最佳的；而且它是可微分的，這讓它成為策略梯度法的天然對象——那類方法會把動作機率往上或往下推。隨著學習收斂，這樣的策略往往會銳化成接近確定性的行為。