LSTM、GRU与神经图灵机：详解深度学习最热门的循环神经网络

GRU（和 LSTM）RNN 的门控机制和在参数化方面的简单 RNN 一样。对应这些门的权重也应用 BPTT 随机梯度降低来更新，因为其要试图最小化成本函数。

每个参数更新都将涉及到与整体收集的状况相干的信息。这可能会有晦气影响。

门控的概念可应用三种新变体的门控机制来摸索和扩大。

这三种变体和 GRU RNN 在手写数字的 MNIST 数据库和 IMDB 片子评论数据集长进行了基准测试。

大年夜 MNIST 数据集生成了 2 个序列长度，而大年夜 IMDB 数据集生成了 1 个序列长度。

这些门的重要驱动旌旗灯号似乎是（轮回）状况，因为其包含关于其它旌旗灯号的根本信息。

门控变体可应用有限的拓扑构造评估来摸索门控机制。

更多信息请参阅：

R. Dey 和 F. M. Salem 2017 年的论文《Gate-Variants of Gated Recurrent Unit (GRU) Neural Networks》：https://arxiv.org/ftp/arxiv/papers/1701/1701.05923.pdf
J. Chung 等人 2014 年的论文《Empirical Evaluation of Gated Recurrent Neural Networks>神经图灵机
初步的结不雅注解神经图灵机可以根据输入和输出样本推理获得根本的算法，比如复制、排序和联想回想（associative recall）。
RNN 比拟于其它机械进修办法的凸起之处在于其在长时光范围内进修和履行数据的复杂转换的才能。此外，我们都知道 RNN 是图灵完全的，是以其有才能模仿随便率性法度榜样，只要连接方法合适即可。
标准 RNN 的才能被扩大以简化算法义务的解决筹划。这种丰富鹁?如果经由过程一个巨大年夜的可寻址的记忆实现的，所以经由过程类比于图灵的经由过程有线存储磁带实现的有限状况机（finite-state machine）的丰富性，其被定名为神经图灵机（NTM）。
和图灵机不合，神经图灵机是一种可微分的计算机，可以经由过程梯度降低练习，大年夜而为进修法度榜样供给了一种实用的机制。
你经由过程这篇文┞仿懂得了用于深度进修的轮回神经收集。具体来说，你懂得了：
- 用于深度进修的顶级轮回神经收集的工作方法，个中包含 LSTM、GRU 和 NTM。
- 顶级 RNN 与人工神经收集中更广泛的轮回（recurrence）研究的相干性。
- RNN 研究如安在一系列高难度问题上实现了当缁ゎ佳的表示。
神经图灵机架构。NTM 架构大年夜体上如上所示。在每一个更新轮回中，控制器收集接收一个来自外部情况的输入并给出一个输出作为响应。它也会经由过程一系列并行的读写头来读写一个记忆矩阵（memory matrix）。虚线是 NTM 回路与外部世界的分界线。来自 2014 年的《Neural Turing Machines》
更多信息请参阅：
- A. Graves 等人 2014 年的《Neural Turing Machines》：https://arxiv.org/pdf/1410.5401.pdf
- R. Greve 等人 2016 年的《Evolving Neural Turing Machines for Reward-based Learning》：http://sebastianrisi.com/wp-content/uploads/greve_gecco16.pdf
神经图灵机经由过程精力经收集与外部记忆资本耦合而对该神经收集的才能进行了延展——它们可以经由过程留意（attention）过程与外部记忆资本交互。参阅机械之心文┞仿《神经图灵机深度讲解：大年夜图灵机根本概念到可微分神经计算机》。
复制（copy）义务可以测试 NTM 是否可以存储和回调长序列的随便率性信息。向该收集供给一个随机二进制向量的输入序列，后面跟着一个分隔符。
LSTM 的局限性
该收集被练习用来复制 8 位的随机向量序列，个中序列长度是在 1 到 20 之间随机的。目标序列就仅仅是输入序列的副本罢了（没有分隔符）。
这种组合的体系类似于图灵机或冯·诺依曼构造，但它是端到端可微分的，使得婷采以有效地应用梯度降低进行练习。
反复复制义务是复制义务的扩大，即请求该收集输出被复制的序列给定的次数，然后给出一个序列终止标记。这个义务的重要目标是看 NTM 是否可以进修简单的嵌套函数。
该收集的输入是随机长度的随机二进制向量序列，后面跟着一个标量值，表示我们想要的副本的数量，其涌如今一个零丁的输入信道上。
联想记忆义务（associative recall tasks）涉及到组织借居产生的数据，即当一个数据项指向另一个项的时刻。要创建一个项列表，使得萌芽个一一个项时须要该收集返回后续的项。
我们定义了一个二进制向量序列，经由过程分隔符对其阁下进行了限制。在几个项被传播到该收集中后，经由过程展示随机项对该收集进行萌芽，看该收集是否可以产生下一?项。
动态 N-gram 义务测试的是 NTM 是否可以经由过程应用记忆作为可覆写的表格来快速适应新的猜测分布；该收集可以应用这缸莨狁来持续对转换统计保持计数，大年夜而模仿传统的 N-gram 模型。
关键在于，该架构的每个组件都是可微分的，使其可以直接应用梯度降低进行练习。这可以经由过程定义「模糊（blurry）」的读写操作来实现，其可以或多或少地与记忆中的所有元素进行交互（而非像通俗的图灵机或数字计算机那样处理单个元素）。
推敲在二进制序列上的所有可能的 6-gram 分布的集合。每个 6-gram 分布都可以被表杀青一个有 32 个数字的表格，其基于所有可能长度的 5 个二进制汗青指定了下一位（bit）为 1 的概率。经由过程应用当前的查找表绘制 200 个持续的位，会生成一个特定的练习序列。该收集对该序列进行不雅察，一次一位，然后被请求猜测出下一位。
优先级排序义务测试的是 NTM 的排序才能。该收集的输入是一个随机二进制向量的序列，以及每个向量的一个标量优先级评分。该优先级是在 [-1, 1] 范围内平均分布的。目标序列是根据它们的优先级排序后的二进制向量序列。
NTM 有 LSTM 的前馈构做作为它们的组件之一。
总结
声明：本文转自机械之心，原文来自MachineLearningMastery，作者Jason Brownlee，译者熊猫。
这三种门控变体为：GRU1（个中仅应用之前的隐蔽状况和偏置来计算每个门——、GRU2（个中仅应用之前的隐蔽状况来计算每个门—）和 GRU3（个中仅应用偏置来计算每个门）。我们可以不雅察履新数明显削减，个中 GRU3 的参数数量最小。
3/4 首页上一页 1 2 3 4 下一页尾页

　　推荐阅读

　　百度Web生态开花结果：Lavas等多项新技术帮助开发者效率提升

【51CTO.com原创稿件】在移动互联网时代，人们开端习惯经由过程一个个自力的App去解决问题，但弗成否定的是App也存在诸如占用空间大年夜、下载应用成本高等问题。基于此，百度、谷歌等搜刮>>>详细阅读

本文标题：LSTM、GRU与神经图灵机：详解深度学习最热门的循环神经网络

地址：http://www.17bianji.com/lsqh/36102.html

1/2 1