机器人革命的 曙光已经来临，这并不是我们想象中的反乌托邦梦night。相反，它以社交机器人的形式出现：家庭，学校，办公室和公共场所中的自主机器人，能够以 人类可以接受的，人类可感知的方式与人类和其他机器人进行 交互，以解决与人类核心需求相关的任务。
为了设计“理解”人类的社交机器人，机器人科学家正在研究人类交流的心理学中国机械网okmao.com。康奈尔大学的研究人员认为，将触摸感嵌入社交机器人可以教会他们检测物理互动和手势。他们描述了一种不依靠触摸而是依靠视觉的方式。
机器人内部的USB摄像头捕获机器人表面上的手势阴影，并使用机器学习软件对其进行分类。他们将这种方法称为 ShadowSense，将其定义为视觉和触摸之间的一种形式，将“高分辨率和低成本的视觉传感带入特写的触摸感官体验中。”
康奈尔大学Sibley机械与航空航天工程学院的合著者Guy Hoffman说，社交或交互式机器人中的触摸感应通常是通过力传感器或电容传感器实现的 。他的小组的方法的缺点是，即使要获得粗略的空间分辨率，在较小的区域中也需要许多传感器。
但是，霍夫曼和他的合作者与非刚性充气机器人合作，安装了消费级USB相机，并在相机上安装了鱼眼镜头，以提供更广阔的视野。
霍夫曼说：“鉴于机器人已经是空心的，并且皮肤柔软而透明，我们可以通过观察触摸机器人的人产生的阴影来进行互动。” 他们使用深层神经网络来解释阴影。他说：“而且我们能够以非常高的精度做到这一点。” 该机器人能够解释六种不同的手势，包括单手或两只手的触摸，指向，拥抱和拳打，其准确度为87.5％至96％，具体取决于照明情况。
尽管ShadowSense的规模和应用是独一无二的，但这并不是第一次将计算机视觉用于触觉传感。霍夫曼说：“摄影主要用于机器人抓取中，用于触摸。” 相比之下，霍夫曼和他的合作者想发展一种感觉，这种感觉可能会在整个设备上“感觉”到。
ShadowSense的潜在应用包括使用触摸的移动机器人指导以及软机器人上的交互式屏幕。第三个问题涉及隐私，尤其是在基于家庭的社交机器人中。霍夫曼说：“我们目前正在审查另一篇论文，该论文专门研究了检测距离机器人皮肤较远的手势的能力。” 这样，用户将能够用半透明的材料遮盖机器人的摄像头，并且仍然允许它解释阴影中的动作和手势。因此，即使使用正确的训练数据集来阻止捕获用户或其周围环境的高分辨率图像，机器人也可以继续监视某些非触觉活动。
霍夫曼说，在当前的迭代中，ShadowSense在弱光条件下表现不佳。环境噪声或周围物体的阴影也会干扰图像分类。依靠一台摄像机还意味着单点故障。霍夫曼说：“我认为，如果这要成为一种商业产品，我们可能（必须）在图像检测方面做得更好。”
实际上，研究人员使用 转移学习（在一个新问题中重用了预先训练的深度学习模型）进行图像分析。霍夫曼说：“多层神经网络的问题之一是，您需要大量的训练数据才能做出准确的预测。” “显然，我们没有数以百万计的人触摸空心的，可充气的机器人的例子。但是我们可以使用经过训练的，经过通用图像训练的网络，而我们拥有数十亿个图像，并且仅使用我们自己的数据集对网络的最后一层进行重新训练。”