階層式強化學習與選項

瓶頸狀態(bottleneck states)

有些狀態是夾點:幾乎所有從世界某一區通往另一區的路徑,都得從它們擠過去。兩個房間之間的門口是經典畫面——不管你在這一側做什麼,若你想到另一側,就非穿過那扇門不可。瓶頸狀態正是這些攸關全局的路標,也是子目標的首選,因為抵達其一,就解鎖了空間中一整塊新天地。

演算法靠檢視狀態空間的連通性來找它們。有些建一張轉移的圖,計算介數中心性,標出那些位於不成比例之多最短路徑上的狀態。有些則注意那些常出現在成功軌跡、其餘時候卻很少出現的狀態,或對轉移圖用譜方法,去找出天然的分割,其邊界即是瓶頸。一旦辨識出來,就建一個選項或目標,可靠地把智能體驅往每一個。

何必費這個事?因為一個瓶頸子目標,能把困難的長視野問題劈成較容易的片段:先學會抵達門口,再學門那邊該做什麼,而不必一口氣解開整座迷宮。要提醒的是:瓶頸在整齊的導航世界裡好定義,在高維或連續任務裡卻很滑溜,那裡的「門口」可能根本沒有清晰的對應物。

又称
bottlenecksaccess states