图·格拉茨的理论计算机科学研究所和英特尔实验室首次通过实验证明，大型神经网络可以处理诸如句子之类的序列，而在神经形态硬件上运行时所消耗的能量是非神经形态硬件的四到十六倍。这项新的研究基于英特尔实验室的Loihi神经形态研究芯片，该芯片借鉴了神经科学的观点，创造出与生物大脑功能相似的芯片。聽
这项研究得到了人脑项目（HBP）的支持，HBP是世界上最大的研究项目之一，欧洲有500多名科学家和工程师在研究人脑。研究结果发表在《自然机器智能》杂志上。聽
人脑作为榜样
智能机器和智能计算机能够自动识别和推断对象以及不同对象之间的关系，是世界人工智能（AI）研究的主题。能源消耗是更广泛应用此类人工智能方法的主要障碍。人们希望神经形态技术将朝着正确的方向发展。神经形态技术是以人脑为模型的，人脑在使用能量方面非常高效。为了处理信息，它的千亿个神经元只消耗大约20瓦的能量，并不比平均的节能灯泡多多少能量。
在这项研究中，该小组专注于处理时间过程的算法。例如，系统必须回答有关先前讲述的故事的问题，并从上下文中把握对象或人之间的关系。测试的硬件由32块Loihi芯片组成。
Loihi研究芯片：比非神经形态硬件的能效高出16倍
图格拉茨理论计算机科学研究所的博士生菲利普·普朗克（PhilippPlank）说：“我们的系统的能效是传统硬件上其他人工智能模型的四到十六倍。”。普朗克预计，随着这些模型迁移到下一代Loihi硬件，将进一步提高效率，从而显著提高芯片间通信的性能。
英特尔神经形态计算实验室主任迈克·戴维斯（MikeDavies）表示：“英特尔的Loihi研究芯片有望在人工智能领域取得进展，尤其是通过降低其高昂的能源成本。”我们与TU-Graz的合作提供了更多证据，证明神经形态技术可以通过从生物学角度重新思考其实现来提高当今深度学习工作的能效。”
模仿人类的短期记忆
在他们的神经形态网络中，研究小组复制了一种假定的大脑记忆机制，如理论计算机科学研究所菲利普·普朗克博士生导师沃尔夫冈·马斯所说，解释说：“实验研究表明，即使没有神经活动，人脑也可以在短时间内存储信息，即所谓的神经元‘内部变量’。模拟表明，神经元子集的疲劳机制对于这种短期记忆至关重要。”
由于这些内部变量尚无法测量，因此缺乏直接的证据，但这确实意味着网络只需要测试哪些神经元目前已疲惫不堪，以重建其先前处理过的信息。换句话说，先前的信息存储在神经元的非活动状态，非活动状态消耗的能量最少。
递归网络与前馈网络的共生
为此，研究人员将两种类型的深度学习网络联系起来。反馈神经网络负责“短期记忆”许多这种所谓的递归模块从输入信号中过滤出可能的相关信息并存储起来。然后，前馈网络确定找到的哪些关系对于解决手头的任务非常重要。无意义的关系被筛选出来，神经元只在找到相关信息的模块中激活。这一过程最终会节约能源。
Davies说：“递归神经结构有望为未来在神经形态硬件上运行的应用程序提供最大收益。”。“像Loihi这样的神经形态硬件非常适合促进我们在大脑中观察到的快速、稀疏和不可预测的网络活动模式，并且需要最节能的AI应用程序。”