貝爾曼算子會縮短距離
回想 貝爾曼最優備份（Bellman backup）：拿一個價值估計，往前看一步，就得到新的估計。關鍵事實是：在最大範數（max-norm）下，這個映射是一個 γ-壓縮映射（γ-contraction）——如果兩個價值函數在某處最多相差 d，做一次備份後最多只相差 γ·d。誤差每一次迭代都會以小於 1 的因子 γ 縮小。
貝爾曼最優回溯：一步前瞻。由於折扣因子 γ 的存在，這個映射是一個 γ-壓縮映射。
壓縮映射恰有一個不動點
巴拿赫不動點定理（Banach fixed-point theorem）說：完備空間上的任何壓縮映射都有唯一的 不動點（fixed point），而且從任何初始猜測開始迭代，都會以幾何速率收斂到它。對強化學習來說，這個不動點就是最優價值函數，被滿足的方程式就是 貝爾曼最優方程（Bellman optimality equation）。這一口氣就講完了 價值迭代（value iteration） 的整個證明：它就是一個被不斷迭代的 壓縮映射，所以一定收斂到唯一的最優解。
互動式馬可夫鏈，無論初始狀態如何，其狀態分佈都收斂到單一的平穩分佈。
# Value iteration: contraction => geometric convergence
V = zeros(num_states)
for k in range(max_iters):
V_new = bellman_optimality_backup(V) # one application T*
if max_norm(V_new - V) < (1 - gamma) * eps:
break # error now <= eps
V = V_new
# ||V_k - V*||_inf <= gamma**k * ||V_0 - V*||_inf學習而非規劃：帶雜訊的平均
價值迭代需要完整的模型；表格型 Q-learning 則改用單筆抽樣到的轉移來更新，所以每一次備份都是真正貝爾曼備份的一個帶雜訊估計。要分析它，我們得放下純粹的壓縮性，改用 隨機逼近（stochastic approximation）：這是一套在「你只能觀察到算子的無偏但帶雜訊的值」時，仍能求解不動點方程的理論。Q-learning 其實就是把隨機逼近套用到貝爾曼最優算子上。
互動式網格世界，智能體透過取樣的移動逐格學習 Q 值。
能收斂的步長：羅賓斯–門羅條件
帶雜訊的更新唯有在步長調得恰到好處時才會穩定下來。羅賓斯–門羅條件（Robbins–Monro conditions） 抓住了這個平衡：步長的總和必須發散到無限大（這樣你才能往任意遠處移動、最終抵達答案），但步長平方的總和卻必須是有限的（這樣累積的雜訊最終才會被壓下去）。像 αₜ = 1/t 這樣的排程兩個條件都滿足；固定步長只滿足第一個、不滿足第二個，所以它只會收斂到一個帶雜訊的鄰域，而非一個點。
Q-learning 更新規則：步長 αₜ 對 TD 誤差加權。Robbins–Monro 條件準確給出了 αₜ 必須如何衰減才能收斂。
- Σ αₜ = ∞——保有足夠的總移動量，才能抵達任何目標。
- Σ αₜ² < ∞——讓後期的步長縮得夠快，才能把雜訊平均掉。
- 每一個狀態–動作對都必須被無限多次造訪——探索不能餓死。
把它們拼起來——以及收斂速率從何而來
有了壓縮算子、羅賓斯–門羅步長，以及「無限多次造訪」，Q-learning 就會以機率一收斂 到最優動作價值。要從「它會收斂」進一步講到「有多快」，就得搬出 集中不等式（concentration bounds）——像 Hoeffding、Bernstein、Azuma 這些不等式，它們說「樣本平均以高機率接近其期望值」。它們把「雜訊終究會被洗掉」化為明確的 樣本複雜度，形如 Õ(SA·H³/ε²)，呈現出對狀態數、動作數、視界與精度的依賴關係。