特别地，假设我们有⼀个练习数据 x 和对应的目标输出 y，平日我们会经由过程在⽹络中前向传播 x ，然落后⾏反向传播来肯定对梯度的供献，使⽤弃权技巧，这个过程就改了。我们会大年夜随机(临时)地删除⽹络中的⼀半的隐蔽神经元开端，同时让输⼊层和输出层的神经元保持不变。在此之后，我们会获得最终如下线条所⽰的⽹络。留意那些被弃权的神经元，即那些临时被删除的神经元，⽤虚圈表⽰在图中：

我们前向传播输⼊ x，经由过程修改后的⽹络，然后反向传播结不雅，同样经由过程这个修改后的⽹络，在⼀个小批量数据⼩批量的若⼲样本长进⾏这些步调后，我们对有关的权重和偏置进⾏更新。然后反复这个过程，⾸先重置弃权的神经元，然后选择⼀个新的随机的隐蔽神经元的⼦集进⾏删除，估计对⼀个不合的⼩批量数据的梯度，然后更新权重和偏置。

为什愦我们会指望如许的⽅法可以或许进⾏规范化呢?为了解释所发⽣的事，我欲望你停下来想⼀下没有标准(没有弃权)的练习⽅式。特别地，想象⼀下我们练习⼏个不合的神经⽹络，都使⽤同⼀个练习数据，当然，⽹络可能不是大年夜同⼀初始状况开端的，最终的结不雅也会有⼀些差别。出现这种情况时，我们可以使⽤⼀些平均或者投票的⽅式来确假寓受哪个输出。例如，如不雅我们练习了五个⽹络，个中三个把⼀个数字分类成“3”，那很可能它是“3”，别的两个可能就犯了缺点。这种平均的方法平日是⼀种强⼤(尽鄙见值昂贵)的⽅式来减轻过度拟合，原因在于不合的⽹络可能会以不合的⽅式过度拟合，平均法可能会赞助我们清除那样的过度拟合。

那么这和弃权有什么关系呢?启发式地看，当我们弃权掉落不合的神经元集应时，有点像我们在练习不合的神经收集。所以，弃权过程就如同⼤量不合⽹络的效不雅的平均那样，不合的⽹络会以不合的⽅式过度拟合了，所以，弃权过的⽹络的效不雅会减轻过度拟合。

弃权技巧的┞锋正衡量是它已经在晋升神经⽹络机能上应用得相当成功，在练习⼤范围深度⽹络时尤其有⽤，如许的⽹络中过度拟合问题经常特别凸起。

7、工资扩大练习数据

我们前面看到了 MNIST 分类精确率在我们使⽤ 1,000 幅练习图像时刻降低到了 80% 中心的精确率。这种情况并不奇怪，因为更少的练习数据意味着我们的⽹络接触更少的⼈类⼿写的数字中的变更。让我们练习 30 个隐蔽神经元的⽹络，使⽤不合的练习数据集，来看看机能的变更情况。我们使⽤⼩批量数据⼤⼩为 10，进修速度为 η = 0.5，规范化参数是λ = 5.0，交叉熵价值函数，我们在全部练习数据集合上练习 30 个迭代期，然后会跟着练习数据量的降低⽽成⽐例增长迭代期的数量。

分类精确率在使⽤更多的练习数据时晋升了很⼤。根据这个趋势的话，晋升会跟着更多的数据⽽赓续增长。

将其进⾏扭转，比如说 15 度：

这照样会被设别为同样的数字的，然则在像素层级这和任何⼀幅在 MNIST 练习数据中的图像都不雷同，所以将如许的样本加⼊到练习数据中是很可能赞助我们的⽹络学会更多若何分类数字，⽽且，显然我们不限于只增长这幅图像，我们可以在所有的 MNIST 练习样本上经由过程很多小的扭转扩大练习数据，然后使⽤扩大后的练习数据来晋升我们⽹络的机能。

这个设法主意异常强⼤并且已经被⼴发应⽤了。让我们大年夜⼀篇论⽂看看⼀些结不雅，这⽚论⽂中，作者在 MNIST 上使⽤了⼏个的┞封种设法主意的变更⽅式。个中⼀种他们推敲的⽹络构造其实和我们已经使⽤过的类似 —— ⼀个拥有 800 个隐蔽元的前馈神经⽹络，使⽤了交叉熵价值函数。在标准的 MNIST 练习数据上运⾏这个⽹络，获得了 98.4% 的分类精确率，他们不只扭转，还转换和扭曲图像来扩大练习数据，经由过程在这个扩大后的数据集上的练习，他们晋升到了 98.9% 的精确率，然后还在“弹性扭曲”的数据长进⾏了实验，这是⼀种特别的为了模仿⼿部肌⾁的随机颤抖的图像扭曲⽅法，经由过程使⽤弹性扭曲扩大的数据，他们最终达到了 99.3% 的分类精确率，他们经由过程展⽰练习数据的所有类型的变更情势来扩大⽹络的经验。

8、权重初始化

创建了神经收集后，我们须要进⾏权重和偏置的初始化，之前的⽅式就是根据独⽴⾼斯随机变量来选择权重和偏置，其被归⼀化为均值为 0，标准差 1。这个⽅法⼯作的还不错，然则⾮常特别，所以值得去从新商量它，看看是否能寻找⼀些更好的⽅式来设置初始的权重和偏置，这也许能赞助我们的⽹络进修得更快。

　　推荐阅读

　　用Async函数简化异步代码

就像你看到的，这个函数返回一个 promises，将会赋值给 val，猜一下生成器和异步函数示例做了什么!无论你在这个函数返回了什么，你其实是暗地里返回一个 promise 解析到那个值。如不雅你>>>详细阅读

本文标题：理解深度学习的钥匙–参数篇

地址：http://www.17bianji.com/lsqh/34849.html

 1/2    1