带你深入剖析递归神经网络

CTO练习营 | 12月3-5日，深圳，是时刻成为优良的技巧治理者了

带你深刻分析递归神经收集

递归神经收集（RNN）是一类神经收集，包含一层内的加权连接（与传统前馈收集比拟，连接仅馈送到后续层）。因为 RNN 包含轮回，所以它们可以在处理新输入的同时存储信息。这种记忆使它们异常合适处理必须推敲事先输入的义务（比如时序数据）。因为这个原因，今朝的深度进修收集均以 RNN 为基本。本教程将摸索 RNN 背后的思惟，并大年夜头实现一个 RNN 来履行序列数据猜测。

神经收集是基于高度连接的处理元件（神经元）的收集将输入映射到输出的计算构造。要快速懂得神经收集，请浏览我的另一篇教程“神经收集深刻分析”，个平分析了感知器（神经收集的构建块）以及具有反向传播进修才能的独裁感知器。

停止语

在前面的教程中，我商量了前馈收集拓扑构造。在此拓扑构造中（如下图所示），可以经由过程隐蔽层将输入矢量馈送到收集中，并最终获得一个输出。在这个收集中，输入以肯定性的方法映射到输出（每次输入被应用）

然则，我们假设内涵处理时序数据。孤立的单一数据抱病不是完全有效的，因为它缺乏重要的属性（例如，数据序列是否在产生变更？是增大年夜？照样缩小？）。推敲一个天然说话处理应用法度榜样，个中的字母或单词表示收集输入。当您推敲懂得单词时，字母在高低文中很重要。孤立状况下的┞封些输入没有什么竽暌姑，只有将它们放入之前产生的事宜的高低文中才有效。

时光序列数据的应用须要一种可以推敲输入汗青的新型拓扑构造。这时就可以应用 RNN。RNN 可以或许经由过程反馈来保护内部记忆，所以它支撑时光行动。鄙人面的示例中，会将隐蔽层输出应用回隐蔽层。收集保持前馈方法（先将输入应用于隐蔽层，然后再应用于输出层），但 RNN 经由过程高低文节点保持内部状况（这会影响后续输入上的隐蔽层）。

RNN 不是一类收集，而是一个包含解决不合问题的拓扑构造的集合。递归收集的一个重要方面在于，借助足够的层和节点，它们是图灵完全的，这意味着它们可以实现任何可计算函数。

RNN 的架构

RNN 是在 20 世纪 80 年代惹人的，它们保持对以前输入记忆的才能为神经收集开启了新的问题范畴。让我们看看您可以应用的一些架构。

Hopfield

Hopfield 收集本质上是二进制的，各个神经元要么打开（激活），要么封闭（未激活）。每个神经元都经由过程一个加权连接与其他每个神经元相连（拜见下图）。每个神经元同时用作输入和输出。在初始化时，会在收集中载入一个部分模式，然后更新每个神经元，直到该收集收敛（它必定会收敛）。输出是在收敛（神经元的状况）时供给的。

Hopfield收集可以或许进修（经由过程Hebbian进修）多种模式，并且在输入中存在噪声的情况下收敛以回想最接近的模式。Hopfield 收集不合实用来解决时域问题，而是经常性的。

简单递归收集

简单递归收集是一类风行的递归收集，个中包含将状况惹人收集的状况层。。状况层影响下一阶段的输入，所以可应用于随时光变更的数据模式。

你可以用不合的方法应用状况，个中两种风行办法是 Elman 和 Jordan 收集（拜见下图）。在 Elman 收集中，隐蔽层对保存了以前输入记忆的高低文节点状况层进行馈送。如下图所示，存在一组高低文节点来保持之前的隐蔽层结不雅的记忆。另一种风行的拓扑构造是 Jordan 收集。Jordan 收集有所不合，因为它们将输出层存储到状况层中，而不是保存隐蔽层的汗青记录。

如今，我们来商量字母在神经收集中的应用。神经收集处理的是数字值，所以须要采取某种表示情势来将字母馈送入收集中。在本例中，我应用了独热编码。独热编码将一个字母转换为一个矢量，并且矢量中仅设置一个元素。这种编码创造了一种可在数学上应用的独特特点 — 例如，表示的每个字母都邑在收集中应用本身的权重。尽管在此实现中，我经由过程独热编率攀来表示字母；但天然说话处理应用法度榜样也以雷同方法表示单词。下图演示了这个示例中应用的独热矢量和用于测试的词汇表。

递归式收集的研究并没有停止，如今，递归架构正在设立处理时序数据的标准。深度进修中的长短期记忆 (LSTM) 办法已经在卷积收集中获得应用，以便经由过程生成的说话来描述图像和视频的内容。LSTM 包含一个遗忘门，让您能对各个神经元进行“练习”，使其懂得哪些信息是重要的，以及这坚稳重要性信息的时光。LSTM 可以处理重要事宜距离时光较长的数据。

Elman 和 Jordan 收集可经由过程标准的反向传播来练习，每种收集都已应用到序列辨认和天然说话处理中。请留意，这里仅惹人了一个状况层，但很轻易看出，您可以添加更多状况层，在这些状况层中，状况层输出可充当后续状况层的输入。本教程将在 Elman 收集部分中商量此概念。

其他收集

另一种最新的架构称为门控递归单位 (GRU)。GRU 是对 LSTM 的一种优化，须要的参数和资本更少。

1/6 1 2 3 4 5 6 下一页尾页

　　推荐阅读

　　23个基本物联网标准、协议、技术术语快捷指南！

CTO练习营 | 12月3-5日，深圳，是时刻成为优良的技巧治理者了在物联网范畴，平日存在一些难以懂得的协定、标准>>>详细阅读

本文标题：带你深入剖析递归神经网络

地址：http://www.17bianji.com/lsqh/39295.html

1/2 1