階層式強化學習與選項
時間抽象(temporal abstraction)
時間抽象是「以時間區塊、而非時鐘的單一滴答來思考」的想法。當你規劃一趟旅行,你想的是「飛去東京、搭電車、走到旅館」——三個決策涵蓋一整天,而不是其中數百萬個肌肉動作。讓智能體以延展的行為來做決定,每個行為跨越許多原始步驟,正是這種對時間軸的粗化。
它是本領域所有方法背後的統一原則:選項、技能、子目標、管理者–工作者階層,全都是建構「時間上抽象的動作」的具體做法。好處既機械又巨大。一個決定承諾某行為持續 k 步,就把高層必須做的選擇數量約略縮小成原來的 1/k,也縮短了功勞分配,因為獎勵只需沿著少數幾個抽象決策回溯,而非整個原始視野。
難處在於選對粗細。太粗,抽象動作就表達不出任務所需;太細,則完全找不回好處。好的時間抽象還必須與世界的結構對齊——它們之所以有效,是因為真實任務真的能拆解成可重複利用、可重複出現的片段。
又称
另见