街機學習環境（Arcade Learning Environment，ALE）

街機學習環境（ALE）包裝了一台 1970–80 年代 Atari 2600 主機的模擬器，讓智能體能直接從原始像素學會玩數十款經典遊戲——Pong、打磚塊、太空侵略者——看到的畫面和人類玩家一模一樣。

每一幀是 210×160 的彩色影像；動作集合是搖桿方向加上射擊鈕（最多十八個離散動作）；獎勵是遊戲內分數的變化。標準的前處理會把畫面裁切並轉灰階成 84×84，疊四幀讓智能體能感知運動，再跳幀以加速。那組共 57 款的遊戲成了深度 RL 的標竿測試平台。

2015 年 DQN 在許多遊戲上達到人類水準，讓 ALE 一舉使深度 RL 聲名大噪；但它也暴露了弱點：像「魔鬼城」（Montezuma's Revenge）這種稀疏獎勵的遊戲多年無解，直接催生了現代的探索研究。