有方向與無方向探索（directed vs undirected exploration）

探索方法分成兩個陣營。無方向探索注入的隨機性，對智能體所知的一切視而不見——epsilon-貪婪與波茲曼動作雜訊只是讓策略抖動，到處探索，對「哪些狀態其實是未知的」一視同仁地不在乎。相對地，有方向探索會運用資訊：它刻意朝新奇、不確定或預期有資訊量的狀態前進，把探索預算花在真正能學到東西的地方。

這個差別，在困難問題上就是可行與無望之別。無方向的雜訊很簡單，在獎勵充裕時運作得很好，但它矇對一長串必要動作序列的機率呈指數縮小，所以在稀疏、深層的任務裡會停滯。有方向的方法——計數獎勵、UCB、好奇心、後驗抽樣——付出追蹤不確定性的額外成本，但正是那份簿記，讓探索得以擴展到「盲目隨機永遠到不了」的環境。