非同步動態規劃（asynchronous dynamic programming）

傳統動態規劃會先掃完所有狀態的一整輪，才開始使用任何新算出的價值——這是「同步」掃描。但如果有上百萬個狀態跟你實際所在的地方毫不相干，這就很浪費。非同步動態規劃拿掉了「完整、按序掃描」的要求：你可以用任何喜歡的順序、一次一個地更新狀態，常常回頭照顧重要的，暫時忽略其他的。

你只保有單一張價值表，依自己的選擇回溯個別狀態，並立刻使用當下最新的數值。只要在極限上每個狀態都還會被無限次地選到，朝最佳價值函數的收斂依然成立。這份自由讓你能把計算集中在要緊之處——例如沿著智能體實際走過的軌跡——也正是讓動態規劃的想法能用在線上、即時學習裡的關鍵。