萨里大学SketchX的研究人员最近开发了一种基于元学习的模型，允许用户通过在平板电脑、智能手机或其他智能设备上绘制特定项目的图像来检索图像。欧洲计算机视觉会议（ECCV）是三大旗舰计算机视觉会议之一，与CVPR和ICCV一起，该会议将在一篇论文中概述该框架。
“这是‘细粒度图像检索’工作的最新进展，我的研究实验室（SketchX，我在2012年指导并成立）早在2015年就提出了这一问题，并在CVPR 2015上发表了一篇题为‘Sketch Me that Shoe’的论文，”开展这项研究的研究人员之一宋毅告诉TechXplore。“我们论文背后的想法是，通常很难或不可能在细粒度级别进行图像检索（例如，在圣诞节找到特定类型的鞋，但没有找到任何鞋）。”
在过去，一些研究人员试图设计出能够基于文本或语音描述检索图像的模型。文本可能更易于用户生成，但人们发现它只能在粗略的层次上工作。换句话说，当试图描述细节时，它可能变得模糊和无效。
另一方面，素描或涂鸦本质上是细粒度的，因此最适合生成对象的详细和精确表示。此外，大多数现代智能设备都有触摸屏，用户可以在触摸屏上绘制草图。
宋解释说：“基于草图的细粒度图像检索面临的主要挑战是：（i）人们不能很好地绘制草图，（ii）我们用不同的风格绘制草图，以及（iii）周围没有足够的草图来训练好的模型。”。“我们每次都发表了一系列关于这一主题的论文，涉及不同方面。我们最新的论文同时解决了这三个问题，并进一步推动了该技术的实际部署。”
宋和他的同事设计的模型允许即使不是特别擅长绘制草图的用户检索他们正在寻找的对象的图像，即使它没有使用这些对象的图像进行训练。这是通过其“自适应”设计实现的，该设计允许系统仅使用几个示例草图来适应用户独特的绘图风格、他/她的绘图质量和新的对象类别。
“我们的系统在您使用它的头几次时，可以很快地与您协作（更好地理解您的草图）鈥攖典型2鈥? 第一作者阿扬·布尼亚说：“例子已经足够了。”最好的情况是这种适应只在测试时发生，这意味着不必为不同的用户/类别训练新模型鈥攖his极大地帮助了实际部署，只需为每个客户提供相同的经过培训的模型，一旦部署，它将学会使用不同的风格/质量/类别。"
在使用公共数据集的初步评估中，研究人员的模型表现得非常好，因为它能够使用各种样本草图检索图像。未来，在线零售商和其他公司可以使用它，让他们的客户在不浏览整个目录的情况下找到他们正在寻找的产品类型。
宋补充道：“我们的工作已经非常成熟，下一步将是将我们的系统商业化，让普通用户受益于人工智能的最新发展，这样他们只需在手机屏幕上用手指涂鸦就可以找到‘那’双鞋。”。“从长远来看，我们还可以将细粒度检索扩展到Metaverse。想象一下，在3D世界中用手指简单地绘制草图，然后让正确的产品/建筑/对象弹出在你面前。”
宋和他的同事们现在正试图将他们的模型商业化，并将其推广到现实世界中。一些世界知名的家具和服装零售商已经表示有兴趣使用该模式改善其服务。
漏 2022年科学X网络