探索與利用的取捨（exploration–exploitation tradeoff）

想像你搬到一個新城鎮，已經有一家喜歡的餐廳。每天晚上你都要選：回去那家可靠的最愛（利用），還是去試一家陌生、可能更棒、也可能讓你失望的店（探索）。只守著已知的，你可能錯過很棒的東西；太常冒險，又會把一頓頓飯浪費在地雷上。強化學習的智能體在每一步都面對這個兩難。

利用（exploitation）是用目前的知識去拿你已知最好的獎勵；探索（exploration）則是犧牲一點眼前的獎勵，去蒐集日後可能有回報的資訊。單靠任何一邊都行不通：純粹利用會太早鎖死在可能很平庸的習慣上，純粹探索則永遠不去兌現成果。在兩者之間取得平衡——並隨著學習，從早期偏重探索逐漸轉向偏重利用——是強化學習一個核心而反覆出現的挑戰。