優勢函數（advantage function）

優勢函數衡量的不是一個動作的絕對好壞，而是它比你的策略在該狀態的平均表現好多少或差多少。在狀態 s 採取動作 a，優勢就是它的動作價值減去該狀態的價值。正的優勢代表「這一步勝過我在這裡平常的下法」；負的優勢代表「我照平常的習慣做反而會更好」。

它定義為動作價值減去狀態價值，而依其構造，它在策略自己的動作上取平均會是零。正是這個減法讓它有價值：它剝掉價值中只取決於狀態的那一部分，留下關於動作本身、更乾淨的訊號。策略梯度法非常倚重它，因為用優勢取代原始回報，能大幅降低更新裡的雜訊。