返回顶部
首页
机械 | 工程 | 工具 | 行业 | 信息 | 集合 | 诗词 | 组词 | 范文 |
 
您现在的位置:
首页 特种机器人 详细信息

CPU算法训练深度神经网络的速度比顶级GPU训练器快15倍

2021-04-16    阅读量:32271    新闻来源:互联网     |  投稿

赖斯大学的计算机科学家已经展示了可以在商品处理器上运行的人工智能(AI)软件,其训练深度神经网络的速度是基于图形处理器的平台的15倍。


CPU算法训练深度神经网络的速度比顶级GPU训练器快15倍 中国机械网,okmao.com


赖斯布朗工程学院的计算机科学助理教授安舒玛利·史里瓦斯塔瓦(Anshumali Shrivastava)说:“培训的成本是AI的实际瓶颈。” “公司每周花费数百万美元用于培训和微调其AI工作负载中国机械网okmao.com。”


赖斯(Rice)和英特尔(Intel)的Shrivastava及其合作者将在4月8日的机器学习系统大会MLSys上针对这一瓶颈提出研究。


深度神经网络(DNN)是一种强大的人工智能形式,在某些任务上可以胜过人类。DNN培训通常是一系列矩阵乘法运算,这是图形处理单元(GPU)的理想工作量,其成本是通用中央处理单元(CPU)的三倍左右。


“整个行业都专注于一种改进-更快的矩阵乘法,” Shrivastava说。“每个人都在寻找专门的硬件和体系结构来推动矩阵乘法。现在,人们甚至都在谈论拥有用于特定种类的深度学习的专门的硬件软件堆栈。与其采用昂贵的算法,不如将其投入整个系统优化的世界,我是说,“让我们重新研究一下算法。”


Shrivastava的实验室在2019年做到了这一点,将DNN培训重播为可以通过哈希表解决的搜索问题。他们的“亚线性深度学习引擎”(SLIDE)是专为在商用CPU上运行而设计的,英特尔的Shrivastava及其合作者在MLSys 2020上展示其性能时,它的性能可能超过基于GPU的培训。


该研究在2021 MLSys他们将在本周提出探讨是否幻灯片的表现可能与现代CPU量化和优化内存加速器得到改善。


赖斯研究生的合著者Shabnam Daghaghi说:“基于哈希表的加速已经超过了GPU,但是CPU也在发展。” “我们利用这些创新进一步推动了SLIDE的发展,表明如果您不拘泥于矩阵乘法,则可以利用现代CPU的强大功能,并以比最佳专用硬件替代产品快4至15倍的速度训练AI模型。”


该研究的合著者,莱斯大学本科生尼古拉斯·梅斯堡尔(Nicholas Meisburger)表示:“ CPU仍然是计算中最流行的硬件。让它们对AI工作负载更具吸引力的好处。


免责声明:本文仅代表作者本人观点,与中网机械,okmao.com无关。本网对文中陈述、观点判断保持中立,不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。请读者仅作参考,并请自行承担全部责任。本网转载自其它媒体的信息,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。如因作品内容、版权和其它问题需要同本网联系的,请在一周内进行,以便我们及时处理。客服邮箱:23341571@qq.com | 客服QQ:23341571
全站地图 | 二级目录 | 上链请联系业务QQ:23341571 或 业务微信:kevinhouitpro