一个国际研究团队设计并制造了一种芯片，可以直接在内存中运行计算，并可以运行各种各样的人工智能应用程序鈥揳ll是通用人工智能计算平台所消耗能量的一小部分。
Neuram neuromorphic芯片使人工智能更接近于在与云端断开连接的各种边缘设备上运行，在这些设备上，人工智能可以随时随地执行复杂的认知任务，而无需依赖与集中式服务器的网络连接。从智能手表到虚拟现实耳机、智能耳塞、工厂中的智能传感器和用于太空探索的漫游车，应用程序遍布世界的每个角落和我们生活的各个方面。
Neuram芯片的能效不仅是最先进的“内存计算”芯片（一种在内存中运行计算的创新混合芯片）的两倍，它还提供与传统数字芯片一样精确的结果。传统的人工智能平台体积大得多，通常只能使用在云中运行的大型数据服务器。
此外，Neuram芯片用途广泛，支持多种不同的神经网络模型和架构。因此，该芯片可以用于许多不同的应用，包括图像识别和重建以及语音识别。
“传统观点认为，内存中更高的计算效率是以多功能性为代价的，但我们的Neuram芯片在不牺牲多功能性的情况下获得了效率，”论文的第一位通讯作者、斯坦福大学新近毕业的博士Weier Wan说，他在加州大学圣地亚哥分校（UC San Diego）研究该芯片，在那里，他由生物工程系的Gert Cauwenberghs担任联合顾问。
该研究小组由加州大学圣地亚哥分校的生物工程师共同领导，在8月17日的《自然》杂志上发表了他们的研究结果。
目前，人工智能计算既耗电又昂贵。边缘设备上的大多数人工智能应用程序涉及将数据从设备移动到云端，人工智能在云端处理和分析数据。然后将结果移回设备。这是因为大多数边缘设备都是电池供电的，因此只能提供有限的计算能力。
通过降低边缘人工智能推理所需的功耗，该Neuram芯片可以带来更强大、更智能、更易访问的边缘设备和更智能的制造。它还可能带来更好的数据隐私，因为从设备到云的数据传输带来了更大的安全风险。
在人工智能芯片上，将数据从内存移动到计算单元是一个主要瓶颈。
万说：“这相当于每天两小时的通勤时间为8小时。”。
为了解决这个数据传输问题，研究人员使用了所谓的电阻随机存取存储器，这是一种非易失性存储器，允许直接在存储器中而不是在单独的计算单元中进行计算。RRAM和其他新兴的记忆技术被用作神经形态计算的突触阵列，是在Philip Wong的实验室中首创的，Philip Wang是斯坦福大学的顾问，也是这项工作的主要贡献者。使用RRAM芯片的计算不一定是新的，但通常会导致在芯片上执行的计算精度降低，并且芯片架构缺乏灵活性。
“自30多年前推出以来，记忆计算一直是神经形态工程中的常见做法，”Cauwenberghs说。“NeuRRAM的新功能是，与标准数字通用计算平台相比，它具有极高的效率和极大的灵活性，适用于各种人工智能应用程序，几乎不损失精度。”
精心设计的方法是跨硬件和软件抽象层进行多层次“协同优化”的关键，从芯片设计到运行各种人工智能任务的配置。此外，该团队确保考虑到从存储设备物理到电路和网络架构的各种约束。
圣母大学计算机科学与工程助理教授西德哈特·乔希（Siddharth Joshi）说：“该芯片现在为我们提供了一个平台，可以解决从设备、电路到算法的所有问题。”他是加州大学圣地亚哥分校考文伯格实验室的博士生和博士后研究员，开始从事该项目。
芯片性能
研究人员用一种称为能量延迟积（EDP）的方法测量了芯片的能量效率。EDP结合了每次操作消耗的能量和完成操作所需的时间。通过这种测量，Neuram芯片的EDP比最先进的芯片低1.6到2.3倍（越低越好），计算密度比最先进芯片高7到13倍。
研究人员在芯片上运行各种人工智能任务。它在手写数字识别任务中实现了99%的准确率；85.7%用于图像分类任务；在谷歌语音命令识别任务中为84.7%。此外，该芯片还实现了图像恢复任务中图像重建误差降低70%。这些结果与现有的数字芯片相当，这些芯片在相同的位精度下执行计算，但大幅节省了能量。
研究人员指出，本文的一个关键贡献是，所有的特色结果都是直接在硬件上获得的。在以前的许多内存芯片计算工作中，人工智能基准测试结果通常部分通过软件模拟获得。
接下来的步骤包括改进架构和电路，并将设计扩展到更先进的技术节点。研究人员还计划解决其他应用，如尖峰神经网络。
匹兹堡大学助理教授拉吉库马尔·库本德兰（Rajkumar Kubendran）说：“我们可以在设备层面做得更好，改进电路设计以实现附加功能，并利用我们的动态Neuram平台处理各种应用。”他在加州大学圣地亚哥分校考文伯格研究小组攻读博士时开始了该项目。
此外，Wan是一家致力于生产内存计算技术的初创公司的创始成员。万说：“作为一名研究人员和工程师，我的目标是将实验室的研究创新付诸实践。”。
新建筑
Neuram能源效率的关键是一种在内存中感知输出的创新方法。传统方法使用电压作为输入，并测量电流作为结果。但这导致需要更复杂和更耗电的电路。在NeuRRAM中，该团队设计了一种神经元电路，能够感应电压并以节能的方式执行模数转换。这种电压模式检测可以在单个计算周期内激活RRAM阵列的所有行和列，从而实现更高的并行性。
在Neuram架构中，CMOS神经元电路与RRAM权重进行物理交织。它不同于CMOS电路通常位于RRAM权重外围的传统设计。神经元与RRAM阵列的连接可以配置为用作神经元的输入或输出。这允许在各种数据流方向上进行神经网络推理，而不会产生面积或功耗方面的开销。这反过来使架构更易于重新配置。
为了确保人工智能计算的准确性能够在各种神经网络结构中得到保持，研究人员开发了一套硬件算法协同优化技术。这些技术在各种神经网络上得到了验证，包括卷积神经网络、长短时记忆和受限玻尔兹曼机器。
作为一种神经形态人工智能芯片，NeuroRRAM跨48个神经突触体核执行并行分布式处理。为了同时实现高通用性和高效率，Neuram通过将神经网络模型中的一层映射到多个核上以对多个数据进行并行推理来支持数据并行。此外，Neuram通过将模型的不同层映射到不同的核心并以流水线方式执行推理，提供了模型并行性。
国际研究团队
这项工作是一个国际研究团队的成果。
加州大学圣地亚哥分校团队设计了CMOS电路，实现与RRAM阵列接口的神经功能，以支持芯片架构中的突触功能，从而实现高效率和多功能性。Wan与整个团队密切合作，实施了设计；以芯片为特征；训练人工智能模型；并执行实验。万还开发了一个软件工具链，将人工智能应用程序映射到芯片上。
斯坦福大学对RRAM突触阵列及其操作条件进行了广泛的表征和优化。
RRAM阵列在清华大学制造并集成到CMOS上。
圣母大学的团队为芯片的设计和架构以及随后的机器学习模型设计和培训做出了贡献。