NVIDIA研究人员已着手教导机器人如何通过观察人的行为来完成任务（以下简称“踢腿”）。如视频所述，对网络进行了培训。
该系统在堆叠彩色立方体的拾取和放置问题上进行了实际测试，他们使用了Baxter机器人中国机械网okmao.com。
一个由六名作者组成的小组讨论了这项工作，即“经过综合训练的神经网络，用于从现实世界的演示中学习人类可读的计划。” 他们的成功涉及一个机器人，该机器人能够从现实世界中的一次演示中学习任务。
为何重要：规划人员探索有关人类将如何与机器人一起工作的问题-如何安全有效地做到这一点？作者清楚地指出了这一点。“
为了使机器人能够在现实环境中执行有用的任务，必须易于将任务传达给机器人；这既包括所需的最终结果，也包括实现该结果的最佳方法的任何提示。”
TechCrunch的Frederic Lardinois表示：“工业机器人通常都是一遍又一遍地重复定义良好的任务。通常，这意味着执行这些任务必须与为它们编程的脆弱人员保持安全距离。然而，越来越多的人研究人员现在正在思考机器人和人类如何在接近人类的地方工作，甚至向他们学习。”
Lardinois说，NVIDIA机器人技术研究高级总监Dieter Fox告诉他，该团队希望使这种下一代机器人能够安全地在人类附近工作。机器人将需要学习如何在工业环境或人们的家中为人们提供帮助。
该团队展示了一个系统，该系统可以从真实世界的演示中推断并执行人类可读的程序。
NVIDIA开发人员网站表示，这是同类产品中的第一个深度学习系统，该系统可以通过观察人类的动作来教机器人完成任务。“通过演示，用户可以将任务传达给机器人，并提供有关如何最佳执行任务的线索。”
他们的系统涉及一系列神经网络。他们的工作方式：研究人员训练了一系列神经网络，以执行与感知，程序生成和程序执行相关的职责。
他们的技术：摄像机获取场景的实时视频，通过一对神经网络实时推断对象的位置和关系。
这些信息被馈送到另一个网络，该网络生成了一个计划来解释如何重新创建这些看法。执行网络读取机器人的计划并生成动作。
是什么让他们的探索与以往的研究脱颖而出？区别在于训练神经网络。NVIDIA网站表示，当前的方法需要大量带标签的培训数据，这是“这些系统中的严重瓶颈”。
相比之下，“通过合成数据生成，只需很少的精力就可以生成几乎无限量的带标签的训练数据。”
Lardinois在TechCrunch中称他们的研究为“整个旅程中的重要一步，使我们能够快速教授机器人新任务。”
他写道，鉴于此培训过程具有强烈的视觉效果，Nvidia在图形硬件方面的背景必定会有所帮助。TechSpot 指出：“运行所有这些神经网络需要一些严肃的计算功能。
研究人员使用了NVIDIA TITAN X GPU。
Jonathan Tremblay，Thang To，Artem Molchanov，Stephen Tyree，Jan Kautz，Stan Birchfield是本文的团队。