批量归一化使这些梯度大年夜分散到正常值并在小批量范围内流向合营目标（经由过程归一化）。

进修率问题：一般来说，进修率须要保持较低的值，使得只有一小部分的梯度来校订权重，原因是要使异常激活的梯度不影响已进修到的激活。经由过程批量标准化，可以削减这些异常激活，是以也就可以应用更高的进修率来加快进修过程。

7、long short-term memory

LSTM收集具有以下三个方面，使其与轮回神经收集中的常见神经元不合：

• 它可以或许决定何时让输入进入神经元；
• 它可以或许决定何时记住上一个时光步上钩算的内容；
• 它决定何时让输出传递到下一?时光步。

LSTM的好梦之处在于它可以或许根据当前的输入本身来决定所有这些。 所以你看下面的图表：

当前时光的输入旌旗灯号x（t）决定所有上述3个点。 输入门决定点1，遗忘门决定点2，输出门决定点3。任何一条输入都可以或许采取所有这三个决定。这种设计其实是受到了我们大年夜脑若何工作的启发，并且可以基于输仁攀来处理忽然的高低文切换。

8、skip-gram

词嵌入模型的目标是为每个词项进修一个高维密集表示，个中嵌入向量之间的类似性显示了响应词之间的语义或句法类似性。 Skip-gram是一个进修词嵌入算法的模型。

skip-gram模型（以及很多其他的词语嵌入模型）背后的重要思惟如下：两个词项类似，如不雅它们共享类似的高低文。

1、反向传播

换句话说，假设你有一个句子，例如“猫是哺乳动物”；如不雅你用“狗”而不是“猫”，这个句子照样一个有意义的句子。是以在这个例子中，“狗”和“猫”可以共享雷同的高低文（即“是哺乳动物”）。

池化（Pooling）是卷积神经收集中另一个重要的概念，它实际上是一种情势的向下采样。有多种不合情势的非线性池化函数，而个中“最大年夜池化（Max pooling）”是最为常见的。它是将输入的图像划分为若干个矩形区域，对每个子区域输出最大年夜值。

基于上述假设，你可以推敲一个高低文窗口（一个包含k个持续项的窗口），然后你跳过个一一个悼?船试着去进修一个可以或许获得除跳过项外的所有项的神经收集，并猜测跳过的┞封个项。如不雅两个词在一个大年夜语料库中反复共享类似的语境，则这些词典嵌入向量将具有邻近的向量。

9、持续词袋

在天然说话处理问题中，我们欲望进修将文档中的每个单词表示为一个数字的向量，使得涌如今类似的高低文中的单词具有彼此接近的向量。在持续的单词模型中，目标是可以或许应用环绕特定单词典高低文并猜测特定单词。

我们经由过程在一个大年夜的语料库中采取大年夜量的句子来做到这一点，每当我们看到一个单词时，我们就提取四周的单词。 然后，我们将高低文单词输入到一个神经收集，并猜测在这个高低文中心的单词。

当我们有成千上万个如许的高低文单词和中心词时，我们就有一个神经收集数据集的实例。 我们练习神经收集，最后编码的隐蔽层输出表示了特定单词典嵌入。 刚巧，当我们对大年夜量的句子进行练习时，类似语境中的单词获得类似的向量。

让我们想一下如安在CNN中处理一张图片。假设有一张图片，你对它进行卷积处理，然后你获得的输出是像素的组合，我们姑且称之为“边”吧。我们再次应用卷积，这时刻你获得的输出将是边的组合，我们称之为“线”。如不雅再次应用卷积，那么你将获得线的组合，等等。

为了更深刻地懂得这些，我参加了一门“深度进修”课程，并开辟了一个图像识其余神经收集以及基于轮回神经收集（RNN）和长短项记忆（LSTM）的天然说话处理。可以去我的Github仓库中查看这些代码：

每一层都是在寻找响应的特定模式。你的神经收集最后一层一般会给出异常特定的模式。也许你在处理ImageNet，你的收集最后一层可能是在找孩子、狗或飞机或其余任何器械。如不雅你向前两层看，收集可能是在找眼睛、耳朵、嘴巴或者轮子。

深度卷积神经收集中的每一层的深刻都是在构建越来越高层次的特点表示。最后两层会产生你输入模型的数据中的特定模式。换句话说，早期的层提取的特点则广泛得多，在提取的大年夜量的类中有很多简单的模式。

迁徙进修就是当你用一个数据集练习CNN时，砍掉落最后的一（些）层，再用另一个不合的数据集从新练习最后一（些）层的模型。直不雅地说，你在从新练习模型来辨认不合的高等层次特点。作为结不雅，练习时光大年夜幅削减。所以当你没有足够的数据或者练习的资本时，迁徙进修是异常有效的一个对象。

这篇文┞仿只是展示了这些办法的一般概述。我建议浏览下面这些文┞仿以获得对这些概念更具体的解释：

•     Andrew Beam’s “Deep Learning 101”
•     Andrey Kurenkov’s “A Brief History of Neural Nets and Deep Learning”
•     Adit Deshpande’s “A Beginner’s Guide to Understanding Convolutional Neural Networks”
•     Chris Olah’s “Understanding LSTM Networks”
•     Algobean’s “Artificial Neural Networks”
•     Andrej Karpathy’s “The Unreasonable Effectiveness of Recurrent Neural Networks”
   3/4   首页 上一页 1 2 3 4 下一页 尾页
  
  

  　　推荐阅读

  　　TensorFlow广度和深度学习的教程

  CTO练习营 | 12月3-5日，深圳，是时刻成为优良的技巧治理者了 在这篇文┞仿中，我们将会介绍若何应用 TF.Learn API 同时练习一个广度线性模型和一个深度前馈神经收集。这种办法结合了记忆和>>>详细阅读

  
  

  本文标题：做AI必须要知道的十种深度学习方法

  地址：http://www.17bianji.com/lsqh/39383.html

   1/2    1