應用、環境與模擬到真實
系統辨識(system identification)
系統辨識指的是量測真實系統,以推斷出它真正的參數——質量、摩擦、馬達常數、延遲——好讓你的模擬器更貼近真實。它從「模擬器這一端」進攻現實差距,而不是從策略那一端。
你在真實硬體上做實驗,記錄狀態與動作,再去擬合出最能重現所觀察行為的模擬器參數,通常是藉由最小化預測誤差來達成。在 RL 裡,這可以一開始就做一次,也可以線上進行——在機器人運作時持續重新估計動力學,並讓策略適應這個更精細的模型。它和領域隨機化相輔相成:能辨識的就辨識,辨識不了的就隨機化。
有個微妙的重點:你只需要把動力學準確到「足以讓策略成功」即可。比起讓策略對你估錯的部分保持穩健,一味追求一個完美的物理模型,往往是白費力氣。
又称
另见