返回顶部
首页
机械 | 工程 | 工具 | 行业 | 信息 | 集合 | 诗词 | 组词 | 范文 |
 
您现在的位置:
首页 通用机器人 详细信息
平衡传播允许全模拟训练:初创公司和学者寻找通往强大模拟AI的途径
2021-05-11    阅读量:32861    新闻来源:互联网     |  投稿

工程师一直在追求一种形式的AI,该形式可以大大降低完成诸如识别单词和图像之类的典型AI事情所需的能量。


这种机器学习的模拟形式使用电路的物理原理而不是数字逻辑来进行神经网络的关键数学运算之一。


但是限制这种方法的主要因素之一是,深度学习的训练算法(反向传播)必须由GPU或其他单独的数字系统来完成中国机械网okmao.com


平衡传播允许全模拟训练:初创公司和学者寻找通往强大模拟AI的途径 中国机械网,okmao.com


现在,蒙特利尔大学AI专家Yoshua Bengio,他的学生Benjamin Scellier和初创公司Rain Neuromorphics的同事们 已经想出了模拟AI进行自我训练的方法。


根据Rain CTO Jack Kendall的说法,这种称为平衡传播的方法可能导致持续学习的低功耗模拟系统,其计算能力比目前业内大多数人认为的要大得多。


模拟电路可以节省神经网络的功耗,部分原因是它们可以有效地执行称为乘法和累加的关键计算。该计算会根据各种权重将输入的值相乘,然后将所有这些值加起来。


电气工程的两个基本定律基本上也可以做到这一点。欧姆定律将电压和电导相乘以提供电流,基尔霍夫的“电流定律”将输入点的电流相加。


通过将神经网络的权重存储在诸如忆阻器之类的电阻存储设备中,乘法和累加可以完全以模拟方式发生,从而有可能将功耗降低几个数量级。


今天的模拟AI系统无法自我训练的原因与组件的可变性有关。就像真实的神经元一样,模拟神经网络中的神经元的行为也不尽相同。


要使用模拟组件进行反向传播,您必须构建两条单独的电路路径。


一个向前提出一个答案(称为推理),另一个向前进行学习,以使答案变得更加准确。但是由于模拟成分的可变性,这些途径不匹配。


Bengio说:“当您通过网络倒退时,最终会积累错误。” 为了进行补偿,网络将需要大量耗电的模数和数模电路,从而克服了进行模拟的问题。


平衡传播允许部分地通过调整整个网络的行为来在同一网络上进行学习和推理。


他说:“ [平衡传播]允许我们说如何修改这些设备中的每一个,以使整个电路执行正确的操作。” “我们直接将模拟设备中发生的物理计算转换为我们的优势。”


目前,平衡传播仅在仿真中起作用。但首席执行官兼联合创始人戈登·威尔逊(Gordon Wilson)表示,Rain计划在2021年下半年采用硬件原理验证。


他说:“我们实际上是在尝试从根本上重新构想人工智能的硬件计算基础,从大脑中找到正确的线索,并用这些线索为设计提供依据。” 


结果可能就是他们所谓的端到端模拟AI系统,该系统能够运行复杂的机器人甚至在数据中心中发挥作用。


目前,这两种技术都被认为超出了模拟AI的功能,而模拟AI现在仅专注于为传感器和其他低功耗“边缘”设备增加推理功能,而将学习内容留给了GPU。


标签:
免责声明:本文仅代表作者本人观点,与中网机械(okmao.com)无关。本网对文中陈述、观点判断保持中立,不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。请读者仅作参考,并请自行承担全部责任。本网转载自其它媒体的信息,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。如因作品内容、版权和其它问题需要同本网联系的,请在一周内进行,以便我们及时处理。客服邮箱:23341571@qq.com | 客服QQ:23341571
全站地图 | 二级目录 | 上链请联系业务QQ:23341571 或 业务微信:kevinhouitpro