作家
登录

解读神经形态计算:从基本原理到实验验证

作者: 来源: 2017-07-07 08:49:44 阅读 我要评论

为了获得神经形态芯片的优势,须要大年夜量的┞否荡器来进行模仿。今天的深度神经统??已拥稀有百万个节点,更别提朝着拥有更多节点的更复杂的神经收集的尽力正在进行。为了达到和人脑相当的才能,须要数十亿个振荡器。应用软件来激发如斯巨大年夜的神经收集是特别耗能的,然则用硬件来处理的话就会好很多。为了将所有的节点都安排在指尖大年夜小的芯片上,纳米级的┞否荡器是必弗成少的。

那么问题来了,因为纳米级的┞否荡器很轻易受到噪声的影响。这类振荡器在热扰动下会改变行动,并且它们的特点会跟着时光的变更而产生漂移。神经形态计算在对于处理电路中的噪声方面做得不是很好,尽管它可以容忍输入的弗成靠性。以分类义务为例,当供给类似的输入时,每次都须要雷同的神经收集分类。因为噪声原因,只存在用纳米级振荡器实现神经形态芯片的理论筹划,而不是实证实现。然而,一篇比来的文┞仿提出了可以或许克服这个艰苦的解决筹划,并且成功地模仿了应用专用纳米磁振荡器的神经元集合的┞否荡行动。

图 2 左边:自旋矩纳米振荡器示意图;中心:振荡器的测量电压跟着时光的变更;右边:电压幅值跟着电流的变更

研究者已经发明,在特定的动力学前提下,应用自旋矩振荡器可以高信噪比地同义地实现完美的分类结不雅。如图 2 所示,自旋振荡器包含两个题词曾和一个夹在中心的┞俘常距离组件,和当前磁存储器单位有着完全雷同的构造。如上图所示,由充电电流产生的磁化振荡被转换成了电压振荡。之后关于语音数字识其余实验证实自旋矩振荡器在神经形态义务上可以达到当缁ゎ佳的表示。

一个比较简单的波形辨认义务被用来研究自旋振荡器在模式辨认中的感化。每一个正弦波或者方波都被标记了 8 个离散的红点,义务请求在红点处区分正弦波和方波。图 3b 注解为了创建空间神经收集中蓝色部分所描述的路径,须要很多非线性神经元。如图 3c 所示,路径也可以根据时光来定义,例如根据每一个振荡器幅值的非线性轨迹。每一个输入将会触发振荡器幅值的特定路径,并且,如不雅时光步长被设定为振荡器松弛时光(relaxation time)的一部分,这将会生成一个瞬态的动态状况。这意味着,与传统的神经元空间分别的神经收集比拟,单个振荡器作为在时光上相连的一组虚拟神经元。这个功能创建了一个关于以前事宜的记忆池,并且,如不雅之前的输入有所不合,这会让振荡器在面对雷同的输入时有着不合的响应。因为振荡器的松弛时光有限,所以对正弦波和方波的完美分别也是可能的。

图 3. 正弦波和方波分类

在硬件上模仿神经收集的迭代练习也可以或凶芄播处理过程中存在的异常。正如膳绫擎提到的一样,在模仿硬件的情况下,掉真可能在动力学中起到重要的感化。控制这些异常是很重要的,因为收集的机能根本上要依附对精确参数的练习。

神经形态芯片的最初思惟可以追溯到加州理工学院的 Carver Mead 传授在 1990 年揭橥的一篇论文。Mead 在论文中提出,模仿芯片可以或许模仿人脑神经元和突触的晃荡,与模仿芯片的二进制本质不合,模仿芯片是一种输出可以变更的芯片。模仿人脑晃荡的意义在于我们可以经由过程它们来进修。传统的芯片在每一次传输中都邑保持固定的特定电压。正如 Mead 在 2013 年的对话中提到的一样,当碰到在今天的机械进修义务中被应用的复杂算法和架构的时刻,散热就成了芯片行业中最大年夜的挑衅。

应用由软件练习的深层神经收集转换的 BrainScaleS 晶圆级神经元体系上的尖峰收集来证实在线练习所供给的补偿。然后在每个练习阶段进行一次轮回练习,然跋文录晃荡。收集晃荡起首记录在硬件中,并应用反向传播算法进行处理,以更新参数。研究人员发明,参数更新在练习步调中不必定要精确,而只须要大年夜致遵守精确的渐变趋势。是以,可以简化该模型中更新的计算。尽管模仿基板的固有变更,这种办法许可快速进修,只需几十次迭代即可达到接近幻想软件仿真原型的精度。

图 4 左E敉件模型每一批的分类精度随练习迭代步数的变更;右:硬件实施的时刻 130 次运行过程中精度的变更

神经形态硬件实现平日会在体系精度膳绫擎对别的一个重要的挑衅。突触权重的有限精度会降低体系精度,这阻碍了神经形态体系的广泛应用。

纳米级的┞否荡器应当获得持续的模仿电阻,然则在实际设备中仅仅可以或许实现几个稳定的电阻状况。一项比来的工作提出了三种校订办法,以进修一级精度(one-level precision)的突触:

  1. 分布感知量化(DQ/distribution-aware quantization)将不合层中的权重离散到不合的数值。这个办法是基于对收集不合层的权重的不雅测提出的。
  2. 量化正则化(QR/quantization regularization)直接在练习过程中进修收集的离散权重。正则化可以以一个固定的梯度来减小一个权重和离它比来的量化程度之间的距离。
  3. 动态的偏置调节(BT/bias tuning)可以进修最佳的偏置补偿以最小化对量化的影响。这还可以在基于神经形态体系中的忆阻器中的减轻突触变更的影响。

这三个办法让模型实现了和当前先辈程度相当的图像分类精度。应用独裁感知机和卷积神经收集分别在 MNIST 数据集和 CIFAR-10 数据集长进行了实验。

表格1


  推荐阅读

  开源云计算领域 EasyStack一直在拼积木的路上

【51CTO.com原创稿件】如把编程喻成拼积木,最初只有根本积木,用这些积木拼出大年夜积木。大年夜积木一旦拼好,就可无穷复制。之后再用拼接好的大年夜积木拼更大年夜的积木。如许一来,积>>>详细阅读


本文标题:解读神经形态计算:从基本原理到实验验证

地址:http://www.17bianji.com/lsqh/36057.html

关键词: 探索发现

乐购科技部分新闻及文章转载自互联网,供读者交流和学习,若有涉及作者版权等问题请及时与我们联系,以便更正、删除或按规定办理。感谢所有提供资讯的网站,欢迎各类媒体与乐购科技进行文章共享合作。

网友点评
自媒体专栏

评论

热度

精彩导读
栏目ID=71的表不存在(操作类型=0)