沙龙晃荡 | 去哪儿、陌陌、ThoughtWorks在主动化运维中的实践！10.28不见不散！

在天然说话处理范畴，深度进修典范诺是：给新模型带来更好的机能，这些新模许可能须要更多半据，但不再须要那么多的说话学专业常识。

关于深度进修办法有很多炒作和大年夜话，但除了炒作之外，深度进修办法正在为挑衅性问题取得最先辈的结不雅，特别是在天然说话处理范畴。

在这篇文┞仿中，您将看到深度进修办法应对天然说话处理问题的具体前景。看完这篇文┞仿后，你会知道：

1. 天然说话处理深度进修典范诺。
2. 深度进修大年夜业人员和研究科学家对天然说话处理深度进修典范诺有什么说法。
3. 天然说话处理的重要深度进修办法和应用。

Chris 认为，深度进修办法带来典范诺是主动特点进修。 他强调，特点进修是主动的，而不是人工;它易于适应，不脆弱，并可以赓续主动地改良。

迄今为止，在天然说话处理的一系列广泛问题中，已经对深度进修办法进行了评估，并在个一一些问题上取得了成功。这些成功注解，应用深度进修能获得高于以往的表示或才能。

让我们开端吧。

深度进修典范诺

深度进修的办法很受迎接，主如果因为它们兑现了当初典范诺。

持续改进。天然说话处理中的深度进修的表示是基于真实世界的结不雅，并且所带来的改进正在持续，还可能加快。

这并不是说袈溱技巧膳绫腔有任何炒作，而是说，这种炒作是基于异常真实的结不雅。这些结不雅正在大年夜计算机视觉和天然说话处理的一系列极具挑衅性的人工智能问题中获得证实。

深度进修力量的第一次大年夜型展示，就是在天然说话处理范畴，特别是在语音辨认方面。 比来的进展则是在机械翻译方面。

在这篇文┞仿中，我们将看到，天然说话处理范畴的深度进修办法的五个具体承诺。这些承诺是这个范畴的研究人员和大年夜业人者比来所强调的，而这些人面对这些承诺的立场比一般的消息报道要克制得多。

总而言之，这些承诺是：

深度进修插入调换现有模型 。深度进修办法可以插入现有的天然说话体系，由此产生的新模许可以实现一致或更好的机能。

新NLP模型 。深度进修办法供给了新的建模办法以挑衅天然说话问题(如序列-序列猜测)。

特点进修 。深度进修办法可以大年夜模型所需的天然说话中进修特点，而不须要专家指定、提取特点。、

端对端模型 。大年夜型端对端深度进修模许可以适应天然说话问题，供给更一般和更好的办法。

我们如今将细心看看这些承诺中的每一个。扑晡苍然说话处理深度进修还有一些其他承诺;，这些只是我大年夜中选择的最凸起的五个。

深度进修插入调换现有模型

天然说话处理中的深度进修的第一个承诺是，可以或许器具有更好机能的模型替代现有的线性模型，可以或许进修和应用非线性关系。

Yoav Goldberg在他的《NLP研究人员神经收集入门》中强调，深度进修办法取得了令人印象深刻的结不雅，他说袈溱此文中说：“比来，神经收集模型也开端应用于文本天然说话旌旗灯号，并再次带来了异常有欲望的结不雅。”

深度进修取获成功的5个例子包含：

• 词表示和词含义
• 文本分类
• 说话建模
• 机械翻译
• 语音辨认
• 进一步浏览 

他还持续强调，这些办法易于应用，有时可用于批量地替代现有的线性办法。他说：“比来，该范畴在大年夜稀少输入的线性模型切换到稠密数据的非线性神经收集模型方面取得了一些成功。大年夜多半神经收集技巧都很轻易应用，有时刻几乎可以替代旧的线性分类器;不过，在很多情况下仍存在着应用神经收集的┞废碍。”

新NLP模型

另一个承诺是，深度进修办法有助于开辟全新的模型。

一个很好的例子是，应用可以或许进修和断定超长序列输出的轮回神经收集。 这种办法与早年的完全不合，因为它们许可NLP大年夜颐魅者摆脱传统的建模假设，并实现最先辈的结不雅。

Yoav Goldberg在其NLP深度进修的专著《天然说话处理的神经收集办法》第xvii页指出，像轮回神经收集如许复杂神经收集模许可以带来全新的NLP建模机会。他说，“在2014年阁下，该范畴已经开端看到，在大年夜稀少输入的线性模型到稠密输入的非线性神经收集模型的转换方面，已取得了一些成功。 .……其他的变更更高等，须要研究者改变思维，并能带来新的建模机会。特别是，基于轮回神经收集(RNNs)的一系列办法减轻了对序列模型中广泛存在的马尔可夫假设的依附，许可以随便率性长序列为前提，并产生了有效的特点提取器。 这些进步导致了说话建模、自念头器翻译和其他应用的冲破。”

他说，“跟着时光的推移，人们开端留意到，如不雅我们应用神经收集，这些组件中的每一个都可以做得更好。 ……然则，仍然有一个问题。 每个组件都有各自的神经收集，然则每个组件中的缺点都是不合的，所以它们可能无法很好地协同工作。 所以这让我们拥有念头，测验测验去把全部语音辨认算作一个大年夜模型来练习。”

特点进修

深度进修办法具有进修特点表示的才能，不须请求专家大年夜天然说话中人工指定和提取特点。

NLP研究察Chris Manning在天然说话处理深度进修课程的第一次讲座中凸起了这方面的不雅点。

他描述了人工定义输入特点的局限性：按照这种办法，在之前的应用中，机械进修只是在统计NLP中证实仁攀类事先定义的特点，并且计算机几乎没有进修。

Chris Mining 在2017年的《天然说话处理与深度进修》讲座第一讲幻灯片中说，“一般来说，我们人工设计的特点往往被过度地指定，它们不完全，须要很长时光才能设计和验证，会让你忙活一河汉只能达到有限的机能程度。而深度进修到的特点易于适应，能快速练习，它们可以持续进修，以便达到以前未能实现的、更好的机能程度。

　　推荐阅读

　　MIT发明了个“换装”机器人，一件“衣服”承担一种功能

沙龙晃荡 | 去哪儿、陌陌、ThoughtWorks在主动化运维中的实践！10.28不见不散！ “它有点像机械人傍边的瑞士军刀”，MIT 计算机科学和人工智能实验室的主管 Daniela Rus 说。她谈>>>详细阅读

本文标题：自然语言处理终极方向：深度学习用于自然语言处理的5大优势

地址：http://www.17bianji.com/lsqh/38045.html

 1/2    1