自然语言处理领域的核心：序列学习

生活中的所有事物都是与时光相干的，也就形成了一个序列。为了对序列数据（文本、演讲、视频等）我们可以应用神经收集并导入全部序列，然则如许我们的数据输入尺寸是固定的，局限性就很明显。如不雅重要的时序特点事宜正好落在输入窗以外，就会产生更大年夜的问题。所以我们须要的是：

能对随便率性长度序列做逐个元素攫取的神经收集（比如视频就是一系列的图片；我们每次给神经收集一张图）；
另一个门将记忆细胞的输出值乘以0（抹除输出）~1（）之间的数，当多个记忆互相竞争时这很有效：一个记忆细胞可能说：“我的记忆异常重要！所以我如今就要释放”，然则收集却可能说：“你的记忆是很重要，不过如今又其他更重要的记忆细胞，所以我给你的输出门付与一个渺小的数值，给其他门大年夜数值，如许他们会胜出”。
有记忆的神经收集，可以或许记得若干个时光步以前的事宜、这些问题汉孟耋已经催生出多中不合的轮回神经收集。

图1：长短期记忆(LSTM)单位。LSTM有四个输入权重和四个轮回权重。Peepholes是记忆细胞和门之间的额外连接，但他们对机能晋升赞助不到，所以常被忽视。

轮回神经收集

若我们想让一个惯例的神经收集解决两个数相加的问题，那我们只须要输入两个数字，再练习两数之和的猜测即可。如不雅如今有3个数要相加，那么我们可以：

拓展收集架构，添加输入和权重，再从新练习；
把第一次的输出（即两数之和）和第三个数作为输入，再返回给收集。

筹划(2)显然更好，因为我们欲望避免从新练习全部收集（收集已经“知道”若何将两个数相加）。如不雅我们的义务变成：先对两数做加法，再减去两个不合的数，那这个筹划又不好使了。即使我们应用额外的权重，也不克不及包管精确的输出。相反，我们可以测验测验“修改法度榜样”，把收集由“加法”变成“减法”。经由过程隐蔽层的加权可以实现这一步（见图2），如斯便让收集的内核跟着每个新的输入而变更。收集将进修着在相加两个数之后，把法度榜样大年夜“加法”变成“减法”，然后就解决了问题。

我们甚至可以泛化这一办法，传递给收集两个数字，再传入一个“特别”的数字——代表着数学运算“加法”，“减法”或“乘法”。实践傍边如许或许不尽完美，但也能获得大年夜体精确的结不雅了。不过这里的重要问题倒不在于获得精确结不雅，而是我们可以练习轮回神经收集，使之可以或许进修随便率性输入序列所产生的特别输出，这就威力大年夜了。

例如，我们可以教收集学会词语的序列。Soumith Chintala和Wojciech Zaremba写了一篇优良的博客讲述用RNN做天然说话处理。RNN也可以用于生成序列。Andrej Karpathy写了这篇[有趣而活泼的博客]，展示了字词级其余RNN，可以模仿各类文风，大年夜莎士比亚，到Linux源码，再到给小孩儿起名。

长短期记忆(Long Short Term Memory, LSTM)

长短期记忆单位应用自连接的线性单位，权重为常数1.0。这使得流入自轮回的值（前向传播）或梯度（反向传播）可以保持不变（乘以1.0的输入或误差照样本来的值；前一时光步的输出或误差也和下一时光步的输出雷同），因而所有的值和梯度都可以在须要的时刻精确回调。这个自轮回的单位，记忆细胞，供给了一种可以储存信息的记忆功能，对之前的若干个时光步傍边有效。这对很多义务都极其有效，好交抄本数据，LSTM可以存储前一段的信息，并对当前段落的序列应用这些信息。

别的，深度收集一一个很广泛的问题叫作“梯度消掉”问题，也即，梯度跟着层数增多而越来越小。有了LSTM中的记忆细胞，就有了持续的梯度流（误差保持原值），大年夜而清除了梯度消掉问题，可以或许进修几百个时光步那么长的序列。

然而有时我们会想要抛掉落旧有信息，调换以更新、更相干的信息。同时我们又不想释放无效信息干扰其余部分的收集。为懂得决这个问题，LSTM单位拥有一个遗忘门，在纰谬收集释放信息的情况下删除自轮回单位内的信息（见图1）。遗忘门将记忆细胞里的值乘以0~1之间的数字，个中0表示遗忘，1表示保持原样。具体的数值宥当前输入和上一时光步的LSTM单位输出决定。

在其他时光，记忆细胞还须要保持多个时光步内不变，为此LSTM增长了另一道门，输入门（或写入门）。当输入门封闭时，新信息就不会流入，原有信息获灯揭捉?护。

LSTM单位的连接方法初看可能有些复杂，你须要一些时光去懂得。然则当你分别考察各个部件的时刻，会发明其构造其实跟通俗的轮回神经收集没啥两样——输入和轮回权重流向所有的门，连接到自轮回记忆细胞。

想要更深刻地懂得LSTM并熟悉全部架构，我推荐浏览：LSTM: A Search Space Odyssey和original LSTM paper。

词嵌入(Word Embedding)

图3：菜谱的二维词嵌入空间，这里我们局部放大年夜了“南欧”的聚类群

想象"cat"和其他所有与"cat"相接洽关系的词汇，你可能会想到"kitten","feline"。再想一些不那么类似，然则又比"car"要类似得多的，比如"lion","tiger","dog","animal"或者动词"purring","mewing","sleeping"等等。

再想象一个三维的空间，我们把词"cat"放在正中心。膳绫擎提到的词语傍边，与"cat"类似的，空间地位也离得更近；比如"kitty","feline"就离中心很近；"tiger"和"lion"就稍微远一点；"dog"再远一点；而"car"就不知远到哪里去了。可以看图3这个词嵌入二维空间的例子。

1/2 1 2 下一页尾页

　　推荐阅读

　　如何快速破解识别APT28网络攻击流量

近期，欧洲多国大年夜选开端，客岁涉嫌收集进击干涉美国总统选举的APT28又开端活泼了。接踵有德国、丹麦等国纷纷责备APT28的大年夜肆入侵进击行动。而就在比来的法国大年夜选中，有安然专家分析称，APT28可能已经针对>>>详细阅读

本文标题：自然语言处理领域的核心：序列学习

地址：http://www.17bianji.com/lsqh/35041.html

1/2 1