應用、環境與模擬到真實
OpenAI Gym／Gymnasium
Gym（現在由社群以 Gymnasium 之名維護）是強化學習的通用插頭——一套小巧、大家有共識的 Python 介面，讓任何智能體都能接上任何環境，而不必重寫銜接的程式碼。它的設計已成為整個領域賴以建構的事實標準。
核心就是兩個方法。reset() 回傳初始觀測並開啟一個回合；step(action) 回傳下一個觀測、一份獎勵、一個 terminated 旗標、一個 truncated 旗標，以及一個 info 字典。Space 物件描述什麼是合法的：連續量用 Box，有限的動作集合用 Discrete。環境以字串 id 註冊，所以你寫 make("CartPole-v1") 就能拿到一個現成可用的任務。
obs, info = env.reset(seed=0) obs, reward, terminated, truncated, info = env.step(action)
整個 Gymnasium 迴圈就裝在這兩個呼叫裡。
OpenAI 原本的 Gym 已停止維護；Gymnasium 是接手的後繼者。它把舊版單一的 done 旗標拆成 terminated（任務真的結束了）與 truncated（被時間上限截斷）——這個細微差別在你於最後一步自助估計（bootstrap）價值時很重要。
又称
另见