赖斯大学的计算机科学家已经展示了可以在商品处理器上运行的人工智能(AI)软件,其训练深度神经网络的速度是基于图形处理器的平台的15倍。
赖斯布朗工程学院的计算机科学助理教授安舒玛利·史里瓦斯塔瓦(Anshumali Shrivastava)说:“培训的成本是AI的实际瓶颈。” “公司每周花费数百万美元用于培训和微调其AI工作负载中国机械网okmao.com。”
赖斯(Rice)和英特尔(Intel)的Shrivastava及其合作者将在4月8日的机器学习系统大会MLSys上针对这一瓶颈提出研究。
深度神经网络(DNN)是一种强大的人工智能形式,在某些任务上可以胜过人类。DNN培训通常是一系列矩阵乘法运算,这是图形处理单元(GPU)的理想工作量,其成本是通用中央处理单元(CPU)的三倍左右。
“整个行业都专注于一种改进-更快的矩阵乘法,” Shrivastava说。“每个人都在寻找专门的硬件和体系结构来推动矩阵乘法。现在,人们甚至都在谈论拥有用于特定种类的深度学习的专门的硬件软件堆栈。与其采用昂贵的算法,不如将其投入整个系统优化的世界,我是说,“让我们重新研究一下算法。”
Shrivastava的实验室在2019年做到了这一点,将DNN培训重播为可以通过哈希表解决的搜索问题。他们的“亚线性深度学习引擎”(SLIDE)是专为在商用CPU上运行而设计的,英特尔的Shrivastava及其合作者在MLSys 2020上展示其性能时,它的性能可能超过基于GPU的培训。
该研究在2021 MLSys他们将在本周提出探讨是否幻灯片的表现可能与现代CPU量化和优化内存加速器得到改善。
赖斯研究生的合著者Shabnam Daghaghi说:“基于哈希表的加速已经超过了GPU,但是CPU也在发展。” “我们利用这些创新进一步推动了SLIDE的发展,表明如果您不拘泥于矩阵乘法,则可以利用现代CPU的强大功能,并以比最佳专用硬件替代产品快4至15倍的速度训练AI模型。”
该研究的合著者,莱斯大学本科生尼古拉斯·梅斯堡尔(Nicholas Meisburger)表示:“ CPU仍然是计算中最流行的硬件。让它们对AI工作负载更具吸引力的好处。