机器人学习

遥操作示范数据

遥操作示范数据,是机器人学习时所用的训练素材:由人远程驾驭机器人自己的身体去完成一项任务,而每一个动作都被记录下来。一个人戴上手套、握着手柄,或是移动机械臂的一个小型“分身”,真实的机器人则实时复刻他的动作;与此同时,摄像头画面、关节角度和夹爪状态全都被保存下来。最终得到的,是一段记录,它实际上在说:在这个确切的情形下,一位熟练的人选择用这台机器人,一步一步地这样做。

这类数据之所以珍贵,是因为它有一种别的来源所没有的“扎实”。示范就是在日后要被训练的同一类机器人身上完成的,所以记录下来的动作,本就尊重了这台机器人真实的可达范围、速度和笨拙——人手和金属夹爪之间没有需要遮掩的鸿沟。看一段人做饭的视频,并不能告诉一只两指机器人该如何活动自己的关节;而遥操作示范,则直接说着机器人母语般的关节指令,这恰恰是“行为克隆”这类学习方法用来模仿所需要的东西。

代价是人的时间和精力。每一次示范都需要一个人耐心地操控机器人,所以要收集现代学习所渴求的成千上万个样本,既慢又贵,而且数据的好坏,全看操作者的技术和稳定程度。为了让每一次宝贵的示范物尽其用,团队会跨越许多物体和起始位置去采集多样的样本,共享大型的遥操作数据集,并且越来越多地——在人类示范打下的底子给了机器人一个起跑优势之后——让机器人自己去练习。

一位戴着动作捕捉手套的操作员,引导一台人形机器人叠了一百条毛巾;每一次折叠都被保存为成对的摄像头画面和关节动作,最终成为日后教这台机器人自己叠毛巾的数据集。

人先替机器人“开”一遍,留下的记录便长久地教着它。

遥操作示范是直接在目标机器人身上记录的,所以数据本就是它自己的关节指令——这与一段人的视频不同,机器人无法把人的动作逐个关节照搬。

又称
teleop datademonstration dataset遥操作数据示範資料集