機器人學習

遙操作示範數據

遙操作示範數據,是機器人學習時所用的訓練素材:由人遠端駕馭機器人自己的身體去完成一項任務,而每一個動作都被記錄下來。一個人戴上手套、握著手柄,或是移動機械臂的一個小型「分身」,真實的機器人則即時複刻他的動作;與此同時,攝影機畫面、關節角度和夾爪狀態全都被保存下來。最終得到的,是一段記錄,它實際上在說:在這個確切的情形下,一位熟練的人選擇用這台機器人,一步一步地這樣做。

這類資料之所以珍貴,是因為它有一種別的來源所沒有的「扎實」。示範就是在日後要被訓練的同一類機器人身上完成的,所以記錄下來的動作,本就尊重了這台機器人真實的可達範圍、速度和笨拙——人手和金屬夾爪之間沒有需要遮掩的鴻溝。看一段人做飯的影片,並不能告訴一隻兩指機器人該如何活動自己的關節;而遙操作示範,則直接說著機器人母語般的關節指令,這恰恰是「行為克隆」這類學習方法用來模仿所需要的東西。

代價是人的時間和精力。每一次示範都需要一個人耐心地操控機器人,所以要收集現代學習所渴求的成千上萬個樣本,既慢又貴,而且資料的好壞,全看操作者的技術和穩定程度。為了讓每一次寶貴的示範物盡其用,團隊會跨越許多物體和起始位置去採集多樣的樣本,共享大型的遙操作資料集,並且越來越多地——在人類示範打下的底子給了機器人一個起跑優勢之後——讓機器人自己去練習。

一位戴著動作捕捉手套的操作員,引導一台人形機器人疊了一百條毛巾;每一次摺疊都被保存為成對的攝影機畫面和關節動作,最終成為日後教這台機器人自己疊毛巾的資料集。

人先替機器人「開」一遍,留下的記錄便長久地教著它。

遙操作示範是直接在目標機器人身上記錄的,所以資料本就是它自己的關節指令——這與一段人的影片不同,機器人無法把人的動作逐個關節照搬。

又稱
teleop datademonstration dataset遥操作数据示範資料集