策略的價值（value of a policy）

當我們問「這個策略好不好」時，需要一個單一數字才能拿去和另一個策略比較。策略的價值就提供了這個數字：對整套行動方式能賺到多少期望回報的一個總結分數。有時它指某個特定起始狀態的價值，有時指對回合通常起始之處取的平均，但無論哪種，它都把一整套策略壓縮成一個優劣指標。

它和目標 J(pi)——策略下的期望回報——其實是同一個東西，只是這裡把它當成替策略排名的尺，而不是當成要最佳化的對象。正是它讓我們能說某個策略比另一個好：如果一個策略從每個狀態的價值都不低於另一個，那它就勝過後者。策略改進與策略迭代，恰恰就是產生一個價值可被證明更高的新策略的程序。