困難探索問題（hard-exploration problems）

有些環境之所以困難，不是因為控制精細，而是因為要找到任何獎勵，都得憑著信念走出一長串特定的正確動作。撿起鑰匙、穿過房間、避開陷阱，然後才終於打開那扇有回報的門——任何一步做錯，你就什麼也看不到。這些就是困難探索問題，而 Atari 遊戲《蒙提祖瑪的復仇》成了它們惡名昭彰的基準。

它們之所以殘酷，是因為獎勵既稀疏又深：無方向的探索得要一次天文數字般幸運的運行，才能把正確動作串起來，而即使有方向的好奇心，若忘記了先前的進展也可能停滯。攻克它們推動了這個領域大量的發明——計數與偽計數獎勵、隨機網路蒸餾、Go-Explore、以及示範——並且仍是檢驗一個探索方法究竟是真正有方向、能持續，還是只是隨機的一道銳利考題。