模仿学习是机器学习的一个分支，可以训练机器模仿人类的行为，同时完成特定的任务。
这些技术解决了强化学习的一些缺点，例如探索和奖励规范，在机器人技术领域显示出巨大的希望。
尽管取得了令人鼓舞的结果，但由于难以收集大量信息，模仿学习研究迄今仅限于中等规模的数据集中国机械网okmao.com。 现有方法任务演示。
为了解决这些限制，由斯坦福大学的Silvio Savarese博士和Lii-Fei Li博士督导的一组研究人员开发了RoboTurk，这是一个使用广泛使用的智能手机设备的基于高质量6自由度轨迹的远程操作众包平台。
进行这项研究的研究人员之一阿杰·曼德卡尔（Ajay Mandlekar）告诉TechXplore：“我们想为机器人技术创建像ImageNet这样的东西。”
“我们认为数据是以下领域的关键限制机器人学习。尽管有很多方法可以从数据中学习，例如数据驱动的控制和强化学习，但大多数方法都是收集自己的数据。因此，数据通常是低质量的，例如导致机器人随机移动手臂。这种类型的探索既困难又不安全，但我们相信人类可以提供帮助。”
ImageNet是由李博士创建的著名图像数据库，通常用于计算机视觉和对象识别研究。由斯坦福视觉与学习实验室开发的众包平台旨在用作机器人技术和模仿学习研究的类似资源。
“与ImageNet不同，这样的数据收集系统必须是动态的，允许我们重复地，经常地按需收集数据，甚至可以使用协作学习来收集数据，”也参与了Roboturk开发的朱玉科告诉TechXplore。“这是因为收集的数据取决于机器人在环境中采取的动作类型。”
ROBOTURK的系统图。新用户连接到网站以加入系统，然后协调服务器为该用户启动专用的远程操作服务器，如（a）所示。然后，协调服务器在用户的Web浏览器与iPhone和远程操作服务器之间建立直接通信通道，以启动远程操作会话。
用户通过移动手机来控制模拟机器人，并在其网络浏览器中接收视频流作为反馈，如（b）所示。在每次成功演示之后，远程操作服务器会将收集的数据推送到云存储系统。
研究人员的最终目标是对机器人进行高级操作技能的培训，使他们能够在工业环境中完成包装或组装等任务。他们发现，尽管模仿学习在这种情况下显示出巨大的潜力，但由于难以收集大量任务演示，现有的数据集非常有限。
“在其他领域，例如计算机视觉和自然语言处理，通常在众包的帮助下收集对数据集的大规模监督，” Mandlekar说。“这为可扩展的机制提供了对广泛的问题实例进行各种人工监督的机制。
但是，收集大量数据一直是机器人任务的挑战，因为它们需要实时的交互和来自注释者的反馈，这给远程操作带来了困难。远程操作平台。”
斯坦福大学视觉与学习实验室的小组因此开发了RoboTurk，这是一个众包平台，通过使用可扩展的人工监督，研究人员可以扩大机器人可以自主执行的技能和任务。通过RoboTurk，远程工作人员可以使用其智能手机作为运动控制器登录网站并收集任务演示。
“ RoboTurk受到基于云的模拟后端的支持，该后端使用低延迟通信协议将视频流传输到客户端的Web浏览器，” Mandlekar解释说。“
这确保了无论客户的计算机资源如何，服务质量都是相同的，这导致了平台的直观使用和较低的进入门槛，这是众包任务的核心要求。RoboTurk支持多个机器人，任务和模拟器，并且可以轻松扩展以支持其他人。”
研究人员在三种持续时间从15到120秒不等的操纵任务上评估了他们的平台。他们发现RoboTurk与专用硬件（例如虚拟现实控制器）共享统计相似性。他们还观察到不良的网络状况并没有实质性地影响用户在平台上成功执行任务的能力。
他们使用RoboTurk从远程工作者那里收集了137.5个小时的操纵数据，并在22个小时的系统总使用时间内进行了2200多次成功的任务演示。
“我认为该平台最有意义的部分是它将如何使人与机器人进行交互，”负责该项目的博士后生Animesh Garg告诉TechXplore。“
机器人是未来的智能工具。我们不应将其视为人类的替代品，而应将其视为扩展我们能力的一种方式。这使人类能够提高生产力，并专注于更高层次的智能问题。计算机的出现使人们更容易使用数学作为解决感兴趣问题的工具。”
RoboTurk通过稀疏的奖励有效地实现了多步操作任务的策略学习。此外，Mandlekar和他的同事发现，在政策学习过程中使用大量示威活动具有显着的好处，从而导致更好的性能和更好的学习一致性。
将来，RoboTurk可能会成为机器人技术领域的重要资源，以帮助开发更先进，性能更好的机器人。研究人员现在将RoboTurk应用到实际的机器人上，同时还开发了可以使用他们收集的数据来教机器人低级技能的算法。
Garg说：“机器人是一项非常令人兴奋的技术，它将使人们在人类活动的所有领域中变得更加高效和独立，例如在厨房中提供帮助，为老年人提供看护者，并为患者提供更好的照顾。”