在 2011 年，Collobert 等人的论文证实简单的深度进修框架可以或许在多种 NLP 义务上超出最顶尖的办法，比如在实体定名辨认(NER)义务、语义角色标注 (SRL)义务、词性标注(POS tagging)义务上。大年夜此，各类基于深度进修的复杂算法被提出，来解决 NLP 难题。
这篇论文回想了与深度进修相干的重要模型与办法，比如卷积神经收集、轮回神经收集、递归神经收集。此外，论文中还评论辩论了记忆加强策略、留意机制以及无监督模型、强化进修模型、深度生成模型在说话相干义务上的应用。
在 2016 年，Goldberg 也以教程方法介绍过 NLP 范畴的深度进修，重要对分布式语义(word2vec、CNN)进行了技巧概述，但没有评论辩论深度进修的各类架构。这篇论文能供给更综合的思虑。
摘要：深度进修办法应用多个处理层来进修数据的层级表征，在很多范畴获得了顶级结不雅。近期，在天然说话处理范畴出现了大年夜量的模型设计和办法。在此论文中，我们回想了应用于 NLP 义务中，与深度进修相干的重要模型、办法，同时概览了这种进展。我们也总结、比较了各类模型，对 NLP 中深度进修的以前、如今与将来供给了具体懂得。
论文地址： https://arxiv.org/abs/1708.02709
论文地址： https://arxiv.org/abs/1708.05148
本文大年夜两篇论文出发先扼要介绍了天然说话处理的基本分类和根本概念，再向读者展示了深度进修中的 NLP。这两篇论文都是很好的综述性入门论文，欲望具体懂得天然说话处理的读者可以进一步浏览这两篇论文。
图 2：一个 D 维向量的分布式向量表达，个中 D << V，V 是词汇的大年夜小。
图 3：Bengio 等人 2003 年提出的神经说话模型，C(i) 是第 i 个词嵌入。
图 13：神经图像 QA (Malinowski et al., 2015)
图 4：CBOW(continuous bag-of-words)的模型
表 1：框架供给嵌入对象和办法
图 5：Collobert 等人应用的 CNN 框架，来做词级其余类别猜测
图 6：在文本上的 CNN 建模 (Zhang and Wallace, 2015)
图 10：LSTM 和 GRU 的示图 (Chung et al., 2014)
图 7：4 个 7-gram 核的 Top7 -grams，每个查对一种特定类型的 7-gram 敏感 (Kim, 2014)
图 8：DCNN 子图。有了动态池化，一顶层只须要小宽度的过滤层可以或许愫系关系输入语句中离得很远的短语 (Kalchbrenner et al., 2014)。
图 9：简单的 RNN 收集
推荐阅读
Chrome 内置抓包对象 Block requests 朝长进步长图 代码的覆盖率分析 Make site better Chrome 内置抓包对象【编辑推荐】Vivaldi浏览器主打汗青记录功能，想挑衅Chrome霸权谷歌Ch>>>详细阅读
地址：http://www.17bianji.com/lsqh/36873.html
1/2 1
网友点评
精彩导读
科技快报
品牌展示