最小平方時間差分（least-squares temporal-difference, LSTD）

對於線性價值函數，你不必靠緩慢的梯度步驟去學——可以直接解出最佳權重。LSTD 從資料中蒐集統計量，以閉式解算出滿足線性 TD 不動點方程的權重向量。它是 TD 預測的批次、無步長解答。

有特徵 x(s) 時，TD 的不動點是滿足 A w = b 的 w，其中 A = E[x(s)(x(s) - gamma x(s'))^T]、b = E[r x(s)]。LSTD 從樣本估出 A 與 b，再解 w = inverse(A) b。它把每個樣本都用到極致（資料效率極高），且沒有學習率要調；LSTDQ 把它推廣到動作價值，供策略迭代（LSPI）內部使用。

代價是 O(d^2) 的記憶體與最多 O(d^3) 的求逆，所以它適合中等數量的特徵，而非百萬參數的網路。它資料效率高但計算量大，而且和所有 TD 不動點方法一樣，它在投影的意義下找到的是最佳線性擬合——除非真值本來就對特徵為線性，否則並非真值。