信用分配問題（credit assignment problem）

當獎勵終於到來——比方說你贏了這局——先前那幾十步裡，到底是哪一步該記功？這就是信用分配問題（credit assignment problem）：把一個結果的功過，回頭分攤到導致它的那些動作上。這正是教練在賽後檢討時面對的難題：要分辨出決定性的那一手，和只是順帶發生的那一手。

它有兩個面向。時間上的信用分配問的是：當獎勵延遲跨越許多步時，過去哪些時間步才是關鍵。結構上的信用分配問的是：該調整智能體策略的哪一部分。強化學習的許多東西——價值函數、時間差分學習、策略梯度——都是為了把這件事做好而存在的機制，因為少了它，智能體就無法把稀疏又延遲的獎勵轉化成有用的學習。