显然，LSTM惹人的信息更多。因为LSTM可以被看作是GRU思路的引申，是以，作者不计算再做太深刻的分析，读者若想要懂得每一扇门和每一个公式的前因后果，Chris Olah撰写了一篇出色的文┞仿 (http://colah.github.io/posts/2015-08-Understanding-LSTMs/)。这是今朝为止介绍LSTM的最出色的教程，必定会对大年夜家懂得各个单位的道理有着很大年夜的赞助。

LSTM和GRU比较

我们先来商量两者的类似之处。原作者认为，这两种模型都具有保持序列数据经久信息依附的特别才能。经久信息指的昵嘟个词语或者短语之间距离很远，然则它们之间的关系对懂得句子又至关重要。LSTM和GRU都是经由过程门控模块来捕获或是选择性忽视这些依附关系。

两者的差别之处在于门的数量，GRU有两扇门，LSTM有三扇门。门的数量也会影响到输入单词之间的非线性关系，并且影响最终的计算结不雅。GRU也不具有LSTM模型的记忆单位。

写在浏览论文之前

要提示大年夜家一点，NLP范畴还有很多很多其它种类的深度进修模型，有时刻递归神经收集和卷积神经收集也会用在NLP义务中，但没有RNN这么广泛。

不错，我们如今已经对深度进修在天然说话处理范畴的应用有了清楚的熟悉，接下来一路就读几篇论文吧。NLP范畴的偏向很多(例如机械翻译、问答体系等等)，我们可以遴选浏览的文献也很多，作者大年夜中遴选了三篇具有代表性的。

记忆收集(Memory Networks)

原作者遴选的第一篇论文 (http://colah.github.io/posts/2015-08-Understanding-LSTMs/) 是问答范畴异常有影响力的一篇文┞仿。此文的作者是Jason Weston, Sumit Chopra, 和 Antoine Bordes，此文介绍了一类称作记忆收集的模型。

直不雅的设法主意是，为了精确地答复一个文本的问题，我们须要以某种方法来存储初始信息。如不雅问大年夜家，“RNN指的是什么”?卖力浏览了文┞仿前半部分的读者必定可以或许答复。只不过大年夜家可能要花几秒钟的时光去前文中查找相干段落。我们暂且不知道仁攀类大年夜脑履行这一行动的机制是什么，但一般认为大年夜脑中有一块区域来存储这些信息。

收集构造

我们一路看看收集是若何处理初始输入内容的。和大年夜多半机械进修算法一样，此办法起首也是将输入内容映射成特点表示。映射的办法可所以词向量、成分标注或者语法分析等等。

我们可以把m算作是若干个mi构成的数组。每个自力的mi又可以视为m、特点表示I(x)和其本身的函数G。记忆内容的更新是经由过程G函数完成。第三步和第四步是攫取记忆信息，根据问题生成特点表示o，然后将其解码输出获得最终的谜底r。

函数R可所以一个RNN模型，将特点表示转化为我们仁攀类可读的文灯谜底。

针对第三步，我们欲望O模块输出的特点表示是最匹配该问题的谜底。那么，这个问题将与各个记忆单位一一比较，计算它们之间的匹配得分。

最后，用argmax函数选出得分最高的一项(或者多项)。计算得分的办法就是将问题的embedding向量与各个记忆单位的特点表示向量相乘(细节请拜见论文 https://arxiv.org/pdf/1410.3916v11.pdf)。这个过程与计算两个词向量的类似度类似。输出的表示特点o再被送入RNN或是LSTM模型，生成最终我们可读的谜底。

全部练习过程属于监督式进修，练习数据包含问题、原始语料、经由标记的谜底。目标函数如下图所示：

更多的相干材料可以拜见下面几篇论文：

• End-to-End Memory Networks https://arxiv.org/pdf/1503.08895v5.pdf
• Dynamic Memory Networks https://arxiv.org/pdf/1506.07285v5.pdf
• Dynamic Coattention Networks https://arxiv.org/pdf/1611.01604v2.pdf

情感分析的树形LSTM模型

下一篇论文 (https://arxiv.org/pdf/1503.00075v3.pdf) 重要内容是介绍情感分析的办法，分析某个短语是否包含正面或是负面的情感。《心理学大年夜辞典》中认为：“情感是人对客不雅事物是否知足本身的须要而产生的立场体验”。LSTM是今朝情感分析最常用的收集构造。Kai Sheng Tai, Richard Socher, 和 Christopher Manning所揭橥的┞封篇论文介绍了一种新鲜的办法将LSTM收集串联成非线性的构造。

论文的残剩部分重要评论辩论大年夜范围安排这套体系所面对的挑衅，包含计算资本消费、延迟，以及高并发量等等。

收集构造

树形LSTM与标准型收集构造的差别之一是后者的隐蔽状况是当前输入与上一步隐蔽状况的函数，而前者的隐蔽状况则是当前输入与其子节点的隐蔽状况的函数。

因为收集构造的改变，练习的办法也有所变更，具体细节可以参考这篇文┞仿 (https://arxiv.org/pdf/1503.00075v3.pdf)。作者的存眷点在于为何这种模型的效不雅比线性LSTM更好。

基于树形的构造，每个自力单位的状况与其所有子节点的隐蔽状况都相干。这一点很重要，因为因为每个节点可以差别对待其子节点。在练习过程中，收集模型能学到某些特别单词(比如“not”和“very”)半数句话的情感分析相当重要。若模型能赐与这部分节点更大年夜的权重，最终取得的效不雅也将更好。

　　推荐阅读

　　Async/Await替代Promise的6个理由

译者按: Node.js的异步编程方法有效进步了应用机能;然而回调地狱却让人望而却步，Promise让我们拜别回调函数，写出更优雅的异步代码;在实践过程中，却发明Promise并不完美;技巧进步是无尽>>>详细阅读

本文标题：深度学习在自然语言处理中的应用

地址：http://www.17bianji.com/lsqh/34697.html

 1/2    1