回放緩衝區（replay buffer）

回放緩衝區就是經驗回放實際取樣的那個容器——可以把它想成智能體近期生活的一本滾動日誌。每一筆紀錄是一次轉移：它在哪裡、做了什麼、得到什麼獎勵、最後到了哪裡、以及這一回合是否結束。新經驗寫到尾端，緩衝區滿了，最舊的紀錄就被覆蓋，所以它始終保有最近數十萬到上百萬步的一個滑動視窗。

它的大小是個實實在在的設計旋鈕。太小，緩衝區會忘掉有用的舊經驗，被智能體此刻正在做的事所主導，反而把回放本要消除的相關性又帶回來。太大，它會死抱著早已過時、糟得多的策略所產生、不再反映智能體當前行為的轉移，拖慢學習。典型的 Atari 智能體約保有一百萬筆轉移。緩衝區只是單純的儲存；智慧在於你如何從中取樣。