由于对其底层神经网络进行了相对较小的修改,因此大量的机器学习应用程序都可以进行性能升级。
如果您是开发人员,正在创建新的机器学习应用程序,则通常会在现有的神经网络体系结构上进行构建,而该神经网络体系结构已针对您要解决的问题进行了调整—从头开始创建自己的体系结构是一项艰巨的工作通常,麻烦多于其价值。
即使手头有一个现有的体系结构,对其进行重新设计以获得更好的性能也不是一件容易的事中国机械网okmao.com。但是,一个团队提出了一种新的神经网络模块,当将其插入四种使用最广泛的体系结构时,该模块可以提高AI性能。
至关重要的是,由美国国家科学基金会和陆军研究办公室资助的研究通过新模块实现了这种性能提升,而无需大量增加计算能力。这是 北卡罗莱纳州立大学研究人员进行的一项更广泛的项目的一部分,该项目将重新考虑与现代AI深度学习功能有关的神经网络的体系结构。
“在宏观层面上,我们尝试重新设计整个神经网络作为一个整体,说:” 天府武,在罗利北卡罗来纳州立大学电气和计算机工程师。 “然后,我们尝试着重于神经网络的特定组件。”
Wu和他的同事 在8月 的第16届欧洲计算机视觉会议的虚拟版本上介绍了他们在名为Attentive Normalization的新神经网络组件或模块上的工作(PDF) 。他们还发布了代码,以便其他研究人员可以将该模块插入他们自己的深度学习模型中。
性能上最显着的改进是适用于智能手机等移动平台的神经网络架构
在初步测试中,该小组发现新模块提高了四种主流神经网络体系结构的性能:ResNets,DenseNets,MobileNetsV2和AOGNets。 研究人员对照两个行业基准测试了升级后的网络性能,以测试视觉对象识别和分类,包括ImageNet-1000 和MS-COCO 2017。
例如,新模块将ImageNet-1000基准中的top-1准确性提高了0.5%至2.7%。这看似很小,但在实践中可能会产生重大变化,这不仅是因为许多机器学习部署的规模很大。
总而言之,多样化的体系结构适用于在计算能力更有限的大型计算系统和移动设备上执行AI驱动的任务。但是,性能方面最显着的改进是适用于智能手机等移动平台的神经网络体系结构。
团队成功的关键在于将两个通常独立运行的神经网络模块组合在一起。“我n阶,使神经 网络 米矿石强大 或更容易 TR AlN, 特征正规化 和功能的关注 可能有两个最重要的组成部分, ”吴说。
特征归一化模块有助于确保 用于训练神经网络的数据的单个子集在构建深度学习模型时不会超过其他子集。通过将神经网络训练与在黑暗道路上驾驶汽车进行比较,Wu将特征归一化描述为汽车的悬架系统可以消除道路上任何颠簸的颠簸。
相比之下,特征关注模块有助于将精力集中在训练数据中的某些特征上,这些特征可以更好地完成手头的学习任务。回到用于训练神经网络的汽车类比,特征关注模块代表了汽车前照灯,显示了前方黑暗道路上需要注意的内容。
在仔细检查了两个模块之后,研究人员意识到两个模块中的某些子过程在重新校准训练数据中某些特征的共同目标中是重叠的。这为在新模块中组合特征标准化和特征关注提供了自然的集成点。 Wu说:“我们希望看到神经体系结构中可以并且应该集成在一起的不同的微组件,以使其更加有效。”
Wu和他的同事还设计了新模块,以便与标准模块相比,它可以以更具动态性和自适应性的方式执行重新校准任务。在转移学习方面,这可能会带来好处-将AI训练在一组数据上以执行给定任务,并将其应用于相关任务的新数据(例如,在人脸识别应用程序中,开发人员通常从网络开始这样可以很好地识别相机视图中的哪些对象是面部,然后对其进行训练以识别特定的人)。
新模块仅代表北卡罗莱纳州立大学重新设计现代AI愿景的一小部分。例如,研究人员正在尝试开发可解释的AI系统,以使人们能够更好地理解AI决策的逻辑-对于基于神经网络的深度学习模型而言,这并不是一个微不足道的问题。作为朝着这个目标迈出的可能的一步,Wu和他的同事先前开发了一种框架,用于基于成分语法系统构建深度神经网络。
同时,Wu仍然看到了其他许多机会,可以对神经网络的较小部分进行微调,而无需对主体体系结构进行彻底的检查。
Wu说:“深度神经网络中还有许多其他组件。” “我们可能也可以采取相似的角度,尝试看看是否存在将它们整合在一起的自然整合点,或者尝试以更好的形式重新设计它们。”