偽計數（pseudo-counts）

基於計數的獎勵很美妙，直到狀態空間變得龐大——在一個 Atari 遊戲裡，你基本上永遠不會看到一模一樣的畫面兩次，所以實際計數不是零就是一，什麼也說不出。偽計數用一個從學到的密度模型推得的數字，取代實際的計數，藉此救回這個想法：這個模型對這個狀態有多驚訝，而看過它一次之後，它變得少驚訝多少？

訣竅是擬合一個替每個狀態指派機率的機率模型，然後從「單次更新後該機率上升多少」讀出一個有效造訪計數——一個機率幾乎沒動的狀態，等於已經被看過很多次了。把這個偽計數代進常見的「一除以根號」獎勵，就得到一個能在像素及其他高維空間裡運作的基於計數訊號，它也是最早幾個在惡名昭彰的困難遊戲上取得進展的深度智能體背後的功臣。