獎勵從何而來？——逆向強化學習
至此每個演算法都假設了一個給定的獎勵函數。在真實世界，那個假設恰是最難的部分：手工設計獎勵脆弱且招致獎勵駭入，使智能體滿足獎勵的字面卻違背其意圖。逆向強化學習（IRL）把問題翻轉：給定專家示範，推斷最能解釋它們的獎勵函數，再去最佳化它。獎勵是任務最可遷移、最精簡的描述，因此復原它往往比直接複製動作泛化得好得多。
IRL 本質上是不適定的——許多獎勵能解釋同一行為，而一個常數獎勵能解釋一切。最大熵 IRL 透過偏好「使專家軌跡最可能、同時假設專家僅近似最優」的那個獎勵來化解歧義。其現代對抗形式（GAIL/AIRL 家族）訓練一個判別器去分辨專家與策略軌跡，並以它作為獎勵訊號，把模仿學習與 GAN 拉進同一幅圖景。這與樸素的獎勵塑形形成鮮明對比，後者是你親手猜測一個更稠密的獎勵。
最大熵逆强化学习让一条轨迹的概率随其回报呈指数增长，从而挑出最能解释示范行为的奖励函数。
透過後繼特徵遷移
假設你世界的動態維持不變，但獎勵改變了——同一座迷宮、新的出口。從頭重解會浪費你學到的一切關於世界如何運動的知識。後繼特徵乾淨地把兩者分開：把獎勵分解為狀態特徵與獎勵權重向量的內積，再學習某策略下未來特徵的期望折扣總和。那個後繼特徵表徵一次就捕捉了動態；當獎勵權重改變時，新的價值函數只差一個內積——無需重新學習動態。
后继特征把价值分解为期望折扣特征 ψ 与奖励向量 w 的乘积，于是新的奖励只改变 w。
搭配廣義策略改善——在新獎勵上評估一個舊策略庫，並對其中最好者貪婪行動——後繼特徵在共享動態的一整族任務上提供零樣本或少樣本遷移。誠實的限制在於特徵基底：遷移的表現力僅及所選特徵，而學習既與獎勵相關、又忠於動態的特徵本身就是一個開放問題。
時間抽象——選項與階層
扁平的強化學習在每個時步選擇一個原始動作，這在長視野上毫無希望——一個千步任務就是一個千層深的功勞分配問題。選項與階層式強化學習引入時間上延展的動作：一個選項捆綁了內部子策略、起始集合與終止條件，於是高層策略可以選擇「走到門口」並讓該選項執行許多步。形式上這把問題變成一個半馬可夫決策過程，其中決策發生在可變的時間間隔上。
交互式 Q-learning 智能体在网格世界中逐步导航。
超越 ε-貪婪的探索——內在動機
當獎勵稀疏時，隨機探索毫無希望——在一個困難的探索遊戲裡，智能體可以摸索宇宙的壽命之久而從未見到一次獎勵。內在動機製造一個內部獎勵，在外部獎勵沉默時驅動探索。兩種主導配方是好奇心（為智能體自身前向模型預測不佳的轉移給予獎勵——以驚訝作為可學習新奇度的訊號）與計數／新奇紅利（獎勵造訪罕見狀態，在大型狀態空間中以偽計數替代精確計數）。隨機網路蒸餾（RND）是新奇度想法的一個穩健的現代實例。
好奇心在稀疏的外在奖励之上加入内在奖励，这里取一个习得前向模型的预测误差。
內在動機強大卻危險。雜訊電視問題是經典的失敗：一個因驚訝而獲獎的智能體會固著於一個隨機、不可預測卻無用的新奇來源——一台播放雪花的電視——因為它無止盡地令人驚訝。好的內在獎勵必須追逐認知新奇（你可以學會預測的事物），而非單純的偶然雜訊，呼應我們在分布式強化學習中遇到的不確定性區分。
當世界裡有其他學習者——多智能體強化學習
至此每個方法都假設了一個平穩的環境。多智能體強化學習（MARL）打破該假設：當其他智能體同時在學習時，每一個所面對的環境在構造上就是非平穩的——你的價值估計腳下的地面在移動，因為其他人也都在改變。正確的解概念不再是單一最優，而是賽局論的均衡，且單智能體理論的收斂保證大多蒸發。
主力的設計模式是集中式訓練、分散式執行：訓練時評論者可看到聯合狀態與所有智能體的動作以獲得穩定的學習訊號，但每個智能體執行時僅用自己的局部觀測。合作設定要與團隊間的功勞分配搏鬥；競爭設定則倚賴自我對弈來自舉出愈來愈強的對手，正是圍棋、撲克與星海爭霸中超人類對弈背後的引擎。