随着机器人进入各种现实世界环境，机器人学家正在努力确保他们能够高效地完成越来越多的任务。对于设计用于帮助人类完成家务的机器人来说，这包括家务活，如清洁、整理和烹饪。

瑞士Idiap研究所、香港中文大学（CUHK）和武汉大学（WHU）的研究人员最近开发了一种基于机器学习的方法，专门教机器人掌握中国烹饪技术——炒菜。他们的方法结合了基于变压器的模型和图形神经网络（GNN），发表在《IEEE机器人和自动化快报》上的一篇论文中。

“我们最近的工作是三个实验室的共同努力：由Idiap研究所的Sylvain Calinon博士领导的机器人学习与互动小组，由Fei Chen Cuhk教授领导的协作和多功能机器人实验室，以及由WHU的Miao Li教授领导的实验室，”进行该研究的研究人员之一刘俊佳告诉TechExplorer。“我们的三个实验室已经合作研究了大约十年。我们对制造能够为人类准备食物的智能机器人特别感兴趣。”

几年来，卡里农博士、陈教授和苗教授一直在努力提高机器人的烹饪技能。在最近的研究中，他们决定专注于中国烹饪艺术，特别是炒菜，这是一种烹饪技术，需要在高温下煎炸配料，同时搅拌配料，通常使用平底锅。

“虽然近年来家政服务机器人得到了长足的发展，但在半结构化厨房环境中创建机器人厨师仍然是一个巨大的挑战，”刘说。

“食物准备和烹饪是家庭中的两项重要活动，机器人厨师可以根据任意食谱自动烹饪，这将是实用的，并带来新的互动娱乐体验。”

该团队在最近的论文中重点关注的烹饪方式是炒菜，它涉及复杂的双手技能，很难教给机器人。为了有效地做到这一点，刘和他的同事首先尝试通过人类演示来训练一种称为“结构化变压器”的双手协调模型。

“这一机制将协调视为双臂运动之间的序列转换问题，并采用变压器和GNN的组合模型来实现这一点，”刘解释道。“因此，在在线过程中，根据视觉反馈调整左臂运动，并根据左臂运动通过预先训练的结构化变换器模型生成相应的右臂运动。”

研究人员评估了他们的模型在模拟和物理双手机器人平台（称为熊猫机器人）上的性能。在这些测试中，他们的模型使机器人能够成功而真实地再现炒菜过程中的动作。

“这篇论文的主要贡献是以序列转导的形式明确考虑双手机器人的协调机制，”刘说。“与经典的演示学习方法和基于深度学习/强化学习的方法相比，我们的解耦框架巧妙地结合了这两种技术。事实上，它既可以概括前者，也可以表达后者。”

未来，这组研究人员引入的模型将有助于开发既能在家庭环境中也能在公共场所做饭的机器人。此外，同样的方法也可用于训练机器人完成其他涉及双臂和双手的任务。与此同时，刘和他的同事计划继续研究他们的模型，以提高其性能和可推广性。

刘补充道：“我们现在将引入更高维度的信息，以学习厨房技能中更多的类人运动，如视觉和肌电图信号。”。“半成品的估计-铿倁这项工作中的id内容很简单铿乪作为二维图像分割，我们只使用相对位移作为期望目标。因此，我们还计划提出一个更全面的框架，包括双手操作器的运动和对象的状态变化。"

漏 2022科学X网络