深度神经网络，通过使用数学模型来处理图像和其他数据而构建的多层系统，是人工智能的基石。
它们有看似复杂的结果，但也有可能被愚弄，范围从相对无害-误将一种动物识别为另一种动物-到引导自动驾驶汽车的网络将停车标志误解为指示停车标志的潜在危险是可以安全进行的。
休斯顿大学的一位哲学家在发表于《自然机器智能》上的一篇论文中建议，关于这些假想故障背后原因的普遍假设可能是错误的，这对于评估这些网络的可靠性至关重要中国机械网okmao.com。
随着机器学习和其他形式的人工智能越来越深入地融入社会，从自动柜员机到网络安全系统，其用途广泛，UH哲学副教授卡梅伦·巴克纳（Cameron Buckner）表示，了解由什么导致的明显故障的来源至关重要。
研究人员称其为“对抗性示例”，是指当深度神经网络系统遇到用于构建网络的训练输入之外的信息时，会误判图像或其他数据。它们很罕见，被称为“对抗性”，因为它们通常是由另一个机器学习网络创建或发现的-机器学习领域中的一种边缘技术，介于创建复杂示例的更复杂方法与检测和避免它们的更复杂方法之间。
巴克纳说：“这些对抗性事件中的一些反而可能是人工产物，为了更好地了解这些网络的可靠性，我们需要更好地了解它们是什么。”
换句话说，不发火可能是由网络要处理的内容与所涉及的实际模式之间的交互作用引起的。这与完全被误解不是完全一样的。
巴克纳写道：“理解对抗性例子的含义需要探索第三种可能性：这些模式中至少有一些是人工的。” “……因此，目前简单地丢弃这些模式既有代价，也有天真地使用它们的危险。”
导致这些机器学习系统犯错误的对抗事件不一定是故意的渎职造成的，但这是最高的风险所在。
巴克纳说：“这意味着恶意行为者可能欺骗依赖于本来可靠的网络的系统。” “那有安全应用程序。”
例如，基于面部识别技术的安全系统可能会被黑客入侵，以允许违规行为发生，或者在交通标志上贴上贴花纸，即使自动驾驶汽车对人类观察者无害，交通标志也可能导致自动驾驶汽车误解该标志。
先前的研究发现，与先前的假设相反，存在一些自然发生的对抗性示例-机器学习系统通过意外交互而不是通过数据错误来误解数据的时间。它们很少见，只有通过使用人工智能才能发现。
但是它们是真实的，巴克纳说，这表明需要重新考虑研究人员如何处理异常或伪像。
这些工件还没有被很好地理解。Buckner提供了照片中镜头眩光的类比-这种现象不是由相机镜头的缺陷引起的，而是由光线与相机的相互作用产生的。
如果您知道如何解释，镜头光晕可能会提供有用的信息，例如太阳的位置。他说，这提出了一个问题，即由人工制品引起的机器学习中的不良事件是否也提供有用的信息。
同样重要的是，巴克纳说，这种思考人工产物影响深度神经网络的方式的新方法表明，不应自动将网络的误读视为深度学习无效的证据。
他说：“其中一些对抗事件可能是人工制品。” “我们必须知道这些工件是什么，这样我们才能知道网络的可靠性。”