如果您的朋友说她感到放松，但是您发现她的拳头握紧了，您可能会怀疑她的诚意。另一方面，机器人可能会信守诺言。肢体语言说了很多，但是即使计算机视觉和面部识别技术取得了进步，机器人仍难以注意到人体的细微运动，因此可能会错过重要的社交线索中国机械网okmao.com。
卡内基梅隆大学的研究人员开发了一种身体跟踪系统 ，可以帮助解决这个问题。该系统称为OpenPose，可以实时跟踪身体运动，包括手和脸。它使用计算机视觉和机器学习来处理视频帧，甚至可以同时跟踪多个人。此功能可以简化人机交互，并为更多的交互式虚拟和增强现实以及直观的用户界面铺平道路。
OpenPose系统的一个显着特征是它不仅可以跟踪人的头部，躯干和四肢，而且还可以跟踪单个手指。为此，研究人员使用了CMU的Panoptic Studio（一个装有500个摄像机的圆顶），在那里他们捕获了各种角度的人体姿势，然后使用这些图像来建立数据集。
然后，他们将这些图像通过所谓的关键点检测器传递出来，以识别并标记特定的身体部位。该软件还学习将身体部位与个人相关联，因此，例如，它知道特定人的手将始终靠近他或她的肘部。这样就可以一次跟踪多个人。
来自圆顶的图像以2D形式捕获。但是研究人员采用了检测到的关键点，并在3D模式中对它们进行了三角剖分，以帮助他们的身体跟踪算法从不同的角度理解每个姿势的出现方式。处理完所有这些数据后，即使某些手指被遮挡，系统也可以确定整个手在特定位置时的外观。
既然系统具有要提取的数据集，则只能使用一台摄像机和一台笔记本电脑运行。它不再需要带有摄像机衬里的球型摄像机来确定人体姿势，从而使该技术具有移动性和可访问性。研究人员已经 向公众发布了他们的代码以鼓励实验。
他们说，这项技术可以应用于人机之间的各种互动。它可以在VR体验中发挥巨大作用，无需使用任何其他硬件（例如粘贴式传感器或手套）就可以更好地检测用户的身体运动。
它还可以促进与家用机器人更自然的交互。您可以告诉您的机器人“捡起它”，它可以立即理解您所指的内容。通过感知和解释您的身体手势，机器人甚至可以通过跟踪肢体语言来学习阅读情绪。因此，当您因为机器人已经完成工作而无声地哭着用手在脸上哭泣时，它可能会为您提供一张纸巾。