現實差距（reality gap）

現實差距指的是一個系統在模擬中的行為與在真實中的行為之間的落差。一個在模擬地板上大步流星走得很穩的步行策略，到了真實機器人身上可能踉蹌跌倒，因為模擬的關節、摩擦與時序，和實體的並不完全吻合。

這道落差來自未建模或估計錯誤的動力學（接觸、摩擦、馬達齒隙）、感測與致動的雜訊、通訊延遲，以及算繪影像與真實影像之間的視覺差異。由於 RL 會利用訓練環境的每一個怪癖來最大化獎勵，它會急切地抓住那些只存在於模擬、在真實世界根本不存在的人造特徵。

沒有單一的解藥。這道落差要從兩端同時夾擊：藉由系統辨識讓模擬器更忠實，並藉由領域隨機化與穩健性訓練讓策略對模擬器的細節不那麼敏感。