价值函数（value function）

价值函数回答一个向前看的问题：从眼下这个情形出发、照我惯常的策略走下去，从这里往后我大致能指望拿到多少总奖励？它问的不是我此刻拿到的奖励，而是前方铺展开来的整个未来。离目标只差一步的格子价值很高；紧挨着悬崖的格子价值很低——哪怕今天站在上面什么代价也没有。

这正是让智能体能够超越眼前一刻去做规划的关键诀窍。一个无子可吃的棋局或许给出的奖励是零，但一个好的价值函数会因为它将通向何方而认出这是「赢棋」。通过为每个状态学出一个价值，智能体得到了一张地图，标明哪些情形大有可为、哪些是陷阱——然后它只需朝价值更高处走去，就像水自会找到下坡的路。

两点提醒。其一，价值永远绑定于某个特定的策略：「这个状态有多好」只有在你说明「假定我一直这样走下去」之后才有意义。换了策略，价值也跟着变。其二，价值函数是一个估计值，从有限的经验中学来，所以对于智能体很少踏足的那部分世界，它可能信心十足地错着——这也是智能体为何不会完全信任自己的地图，而要不断去探索的原因之一。