计算机视觉和机器学习的进步使得各种各样的技术能够在很少或没有人监督的情况下执行复杂的任务。从自动驾驶无人机和自动驾驶汽车到医疗成像和产品制造,许多计算机应用程序和机器人使用视觉信息做出关键决策。城市越来越依赖这些自动化技术来维护公共安全和基础设施。
然而,与人类相比,计算机具有一种隧道视觉,使其容易受到可能带来灾难性后果的攻击。例如,一个人类司机看到停车标志上的涂鸦,仍然会认出它并在十字路口停车。另一方面,涂鸦可能会导致自动驾驶汽车错过停车标志,并在十字路口疾驰而过。而且,虽然人类的大脑在做出决策时可以过滤掉各种不寻常或无关的视觉信息,但计算机会对预期数据的微小偏差感到困惑。
这是因为大脑是无限复杂的,可以同时处理大量的数据和过去的经验,从而做出适合这种情况的近乎即时的决定。计算机依赖于在数据集上训练的数学算法。他们的创造力和认知能力受到技术、数学和人类远见的限制。
恶意行为者可以通过改变计算机查看对象的方式来利用此漏洞,方法是改变对象本身或视觉技术中涉及的软件的某些方面。其他攻击可以操纵计算机对其所看到的内容做出的决定。任何一种方法都可能给个人、城市或公司带来灾难。
加州大学河滨分校伯恩斯工程学院的一个研究小组正在研究如何挫败对计算机视觉系统的攻击。为了做到这一点,萨尔曼·阿西夫(SalmanAsif)、斯里坎特·克里希纳穆尔西(SrikanthKrishnamurthy)、阿米特·罗伊·乔杜里(AmitRoyChowdhury)和程玉松(ChengyuSong)首先确定了哪些攻击有效。
最近结束的美国国防部高级研究计划局人工智能探索项目“机器视觉破坏技术”的首席研究员罗伊·乔杜里说:“人们会想进行这些攻击,因为在很多地方,机器都在解释数据以做出决定。”。“操纵计算机正在作出决策的数据可能符合对手的利益。对手如何攻击数据流以使决策错误?”
例如,对手会向自动驾驶车辆上的软件中注入一些恶意软件,这样当数据来自摄像头时,它会受到轻微干扰。因此,安装用于识别行人的模型出现故障,系统将产生幻觉或看不到存在的物体。了解如何产生有效的攻击有助于研究人员设计更好的防御机制。
罗伊·乔杜里(RoyChowdhury)说:“我们正在研究如何干扰图像,以便如果用机器学习系统对其进行分析,它就会被错误分类。”。“有两种主要方法可以做到这一点:一种是深度伪造,即视频中某人的面部表情被改变以欺骗人类;另一种是对抗性攻击,即攻击者操纵机器如何做出决定,但人类通常不会犯错。其意念是对图像进行微小的更改,人类无法感知,但自动化系统会错误"
罗伊·乔杜里(RoyChowdhury)及其合作者和他们的学生发现,现有的大多数攻击机制都是针对错误分类特定对象和活动的。然而,大多数场景包含多个对象,并且场景中的对象之间通常存在某种关系,这意味着某些对象比其他对象更频繁地同时出现。
研究计算机视觉的人把这种共现现象称为“上下文”小组成员展示了如何设计上下文感知攻击,改变场景中对象之间的关系。
罗伊·乔杜里(RoyChowdhury)说:“例如,桌子和椅子经常一起出现。但老虎和椅子很少一起出现。我们想把所有这些都一起处理。”。“您可以将停车标志更改为限速标志并删除人行横道。如果您将停车标志替换为限速标志但离开人行横道,自动驾驶汽车中的计算机可能仍会将其识别为需要停车的情况。”
今年早些时候,在人工智能促进协会的会议上,研究人员表明,为了让机器做出错误的决定,仅仅操纵一个对象是不够的。该小组制定了一项战略,以策划以一致的方式同时改变多个目标的对抗性攻击。
萨尔曼·阿西夫说:“我们的主要观点是,成功的转移攻击需要整体场景操作。我们学习了一个上下文图来指导我们的算法,在保持整体场景上下文的同时,应该针对哪些对象欺骗受害者模型。”。
在本周举行的计算机视觉和模式识别会议上发表的一篇论文中,研究人员与施乐公司研究部门PARC的合作者进一步构建了这一概念,并提出了一种攻击者无法访问受害者计算机系统的方法。这一点很重要,因为每一次入侵,攻击者都有被受害者检测到的风险,并对攻击进行防御。因此,最成功的攻击可能是根本不探测受害者系统的攻击,因此预测和设计针对这些“零查询”攻击的防御措施至关重要。
去年,同一组研究人员及时利用上下文关系来策划针对视频序列的攻击。他们使用几何变换来设计对视频分类系统的非常有效的攻击。该算法在令人惊讶的几次尝试中成功地实现了扰动。例如,与最先进的视频对抗性攻击方法相比,该技术生成的对抗性示例具有更好的攻击成功率,尝试次数减少73%。这允许更快的攻击,而对受害者系统的探测要少得多。这篇论文是在2021的第一届机器学习会议上发表的。
与现有攻击相比,上下文感知的对抗性攻击对具有多个对象的自然图像的攻击更为有效,而现有攻击主要针对具有单个主导对象的图像,这为更有效的防御开辟了道路。这些防御措施可以考虑图像中对象之间的上下文关系,甚至多个摄影机拍摄的图像中场景中对象之间的上下文关系。这为将来开发更安全的系统提供了潜力。