众所周知,生物突触在不同的时间尺度上存储多个相互重叠的记忆,很像早期手稿写作技术的表现形式,即所谓的“复写”,其中注释可以与早期写作的痕迹叠加在一起。
生物复现巩固通过隐藏的生化过程发生,这些生化过程在不同的生命周期中控制突触效能。这种安排可以帮助覆盖空闲记忆而不会忘记它们,同时短期使用以前看不见的记忆。嵌入式人工智能可以显著受益于此类功能;然而,硬件尚未在实践中演示。
Christos Giotis和英国南安普敦大学和爱丁堡大学的电子和计算机科学科学家团队在一份新报告中,展示了金属氧化物挥发性忆阻器的固有特性如何模拟生物复现巩固过程,该报告现已发表在《科学进展》上。
忆阻器是一种可以调节电路中电流的装置,以记住流过电路的电荷。在没有执行特殊指令的情况下,实验性忆阻器突触在保护巩固记忆的同时,显示出扩大了一倍的容量,因为多达数百个不相关的短期记忆暂时覆盖了它。结果强调了新兴的记忆技术如何有效地扩展人工智能硬件的能力,以概念化学习记忆。
生物智能与人工智能(AI)
大脑皮层中的神经网络使用估计1013到1014个突触来生成一系列认知能力,它们重新设计的对应物需要相同数量的可训练参数,以用于更狭窄的应用。
为了解释生物智能和人工智能之间学习能力的差异,人工智能研究人员提出,突触可以巩固在不同时间尺度上被揭示的多种记忆,就像一个重读。虽然突触可以记忆长期可塑性事件,但它们可以在短期内表达改变的状态。因此,大脑可以将相同的资源用于一系列计算过程。这种灵活性可以为神经形态硬件提供一个重要的里程碑,用于在广泛的边缘、连续学习系统上集成人工智能。
在实验过程中,研究人员先前设计了主要基于相变记忆材料的突触,以及基于电阻随机存取存储器(RRAM)的忆阻器,以实现元可塑性,从而调整神经网络中人工突触的学习速率。
Giotis和他的团队在之前工作的基础上建立了这项研究,旨在将突触可塑性与突触修饰对学习记忆的自动巩固和记忆保护联系起来鈥攁 高效在线学习的关键要素。该团队探索了RRAM波动性的特征,以模拟促进生物智能中重复整合的隐藏生化过程。他们在一个设备中实现了两个统一的时间尺度,以创建一种技术,该技术可以保护具有独特特性的长期存储中的强内存,而不存在特殊偏差或功能复杂性。
用于重复整合的候选易失性存储器
生物重复整合过程假设隐藏变量(如复杂的生化过程)可以在不同的时间尺度上诱导突触效率的变化。虽然这些过程仍有待绘制,但它们的表型反应可以通过流体扩散建模。研究人员使用基于二氧化钛的挥发性记忆装置来检测重读巩固的潜力,并在单个记忆突触上演示了这一过程。结果表明,人工突触如何保护隐藏的记忆,同时保留灵活性,在其上表达另一个记忆,使记忆容量加倍。由于挥发性和非挥发性塑性变化的比率很高,这是系统的关键功能参数,因此该产品是一个很好的候选者。
error:54000
error:54000
Giotis和团队构建了一个由六个突触组成的记忆网络,以加强或巩固两个相互竞争的信号。他们展示了实验装置,其中每一个记忆位都写在相应的记忆突触上,并研究了两个记忆信号如何在突触间相互作用。突触在一些巩固阶段循环,科学家继续宏观检查记忆表现。他们认为,特定内存的呈现越来越成功是因为它能够覆盖竞争内存,而噪声的影响是决定因素。
他们进行了额外的实验和模拟,以量化噪声如何影响记忆性能,结果表明,该设备的特性通过实现从短期记忆到长期记忆状态的可逆性来驱动重复整合。该网络还显示了熟悉性回忆的能力,以识别之前是否出现过多个记忆。他们将短期记忆的寿命描述为短期记忆信号主导长期记忆的时期。这项工作揭示了容量和回忆准确性之间的权衡,以及通过突触具体实现的化塑性特性。研究人员表明,高水平的巩固似乎可以保护长期记忆免受数百种短期记忆的影响。
视觉工作记忆
该团队进一步探索了基于短期注意力和系统中无监督记忆构建概念的视觉记忆。在实验过程中,他们从现有的工作记忆理论中汲取灵感,构建了一个短期注意力与其记忆能力互补的视觉网络。他们还研究了该系统是否可以在没有监督的情况下识别统计显著性。当他们将长期记忆轨迹与随后的快照进行比较时,他们注意到网络可以自动消除整合信号的噪声。
见解
通过这种方式,Christos Giotis和同事将重点放在已知的支持数学模型和深度学习算法学习的二进制突触上。强烈的双向挥发性和小的非挥发性残基之间的相互作用有助于该装置的重复使用能力。未来的研究实施并不局限于二氧化钛技术的选定材料,可以根据具体应用需求进行研究。该装置演示了从长期记忆到短期记忆的转换,同时也类似于短期注意机制,有望实现更复杂的人工智能算法。这种装置的双重时间容量类似于控制突触可塑性的双稳态开关。该团队将核心可塑性的功能等同于钙/钙调素依赖性蛋白激酶II机制的生物过程;一种主要的生物分子记忆机制。
漏 2022年科学X网络