動作飽和（action saturation）

動作飽和是指策略不斷把動作撞向允許的極限——油門到底、方向打死、扭矩拉滿——而非運用平滑的中段。想像一個駕駛只會把油門踩到底或把煞車跺死，從不輕踩任一邊。有時這確實是最優的（所謂 bang-bang 控制），但更常見的是它是個症狀：策略被過於急切的評論家推到了界限，豐富的連續控制空間塌縮成了粗糙的開／關。

它常與用來強制界限的 tanh 擠壓結伴出現。在 ±1 附近 tanh 是平的，梯度極小；一旦策略漂進飽和，學習訊號幾乎傳不回去，它就可能卡死在那裡、頂著牆動彈不得。結果是機器人出現抽搐、耗能、傷硬體的行為，以及一個對動作空間內部幾乎一無所知的價值函數。

要診斷它，就觀察所選動作的分布——健康的連續策略會有相當時間待在內部。補救之道包括在獎勵中懲罰過大或劇烈變化的動作、把動作範圍縮放得合理，以及最大熵強化學習的熵獎勵——它會主動勸阻策略塌縮到極端。