这是你所有看到的有关神经收集参数的懂得中最通俗易懂的一个了，公式也减到了起码，神经收集的专业人士绕道哦。

固然这个例⼦应用了同样的进修速度(η = 0.15)，我们可以看到刚开端的进修速度是⽐较迟缓的，对前 150 阁下的进修次数，权重和偏置并没有发⽣太⼤的变更，随后进修速度加快，与上⼀个例⼦中类似了，神经⽹络的输出也敏捷接近 0.0。

在上一篇《懂得深度进修的钥匙 –发蒙篇》，我们提到定义⼀个二次价值函数，也叫损掉函数或目标函数： 

这⾥ w 表⽰所有的⽹络中权重的集合，b 是所有的偏置，n 是练习输⼊数据的个数，a 是表⽰当输⼊为 x 时输出的向量，y(x)是实际输出的向量，乞降则是在总的练习输⼊ x 长进⾏的。

参考《懂得深度进修的钥匙 –发蒙篇》文┞仿C(v)中v的计算过程，∇C 来表示梯度向量： 

如今有两个分量构成w 和b，⽽梯度向量∇C 则有响应的分量∂C/∂w 和 ∂C/∂b，⽤这些分量来写梯度降低的更新规矩，我们获得：

经由过程反复竽暌功⽤这⼀更新规矩我们就能“让球体滚下⼭”，并且有望能找到价值函数的最⼩值，换句话说，这是⼀个能让神经⽹络进修的规矩。

留意这个价值函数是普及每个练习样本的，x表示某一个样本：

在实践中，为了计算梯度∇C，我们须要为每个练习输⼊x 零丁地计算梯度值∇Cx，然后求平均值： 

经由过程赓续地反复，我们的收集会学到⼀个权重和偏置的集合。当然，这些权重和偏置也是在⼀半的隐蔽神经元被弃权的情况下学到的，当我们实际运⾏全部⽹络时，是指两倍的隐蔽神经元将会被激活，为了补偿这个，我们将大年夜隐蔽神经元元出去的权重减半。

1、随机梯度降低

4、过度拟合

这一节你将懂得具体的一个练习过程，懂得什么叫作⼩批量数据(mini-batch)，什么叫作练习迭代期(epoch)。

有种叫做随机梯度降低的算法可以或许加快进修，其思惟就是经由过程随机拔取⼩量练习输⼊样本来计算∇Cx，进⽽估算梯度∇C，经由过程计算少量样本的平均值我们可以快速获得⼀个对于实际梯度∇C 的很好的估算，这有助于加快梯度降低，进⽽加快进修过程。

更精确地说，随机梯度降低经由过程随机拔取⼩量的m 个练习输⼊来⼯作，我们将这些随机的练习输⼊标记为X1;X2… Xm，并把它们称为⼀个⼩批量数据(mini-batch)。假设样本数量m ⾜够⼤，我们期望∇Cxj 的平均值⼤致相等于全部∇Cx 的平均值，即： 

然后我们再遴选另⼀随机选定的⼩批量数据去练习，直到我们⽤完了所有的练习输⼊，这被称为完成了⼀个练习迭代期(epoch)。然后我们就会开端⼀个新的练习迭代期。

我们可以把随机梯度降低想象成⼀次⺠意查询拜访：在⼀个⼩批量数据上采样⽐对⼀个完全数据集进⾏梯度降低分析要轻易得多，正如进⾏⼀次⺠意查询拜访⽐举⾏⼀次全⺠选举要更轻易。例如，如不雅我们有⼀个范围为n = 60000 的练习集，就像MNIST，并拔取⼩批量数据⼤⼩为m=10，这意味着在估算梯度过程中加快了6000 倍。

练习数据，除了MNIST 数据，我们还须要⼀个叫做Numpy 的Python 库，⽤来做快速线性代数，不要怕，笔者不会贴代码，只是示意一下，大年夜家懂得函数调用的方法即可：

在加载完MNIST 数据之后，我们将设置⼀个有784个像素输入、30 个隐蔽层神经元、10个输出的Network： 

我们将使⽤随机梯度降低来大年夜MNIST training_data 进修跨越30 次迭代期，⼩批量数据⼤⼩为10，进修速度η=3.0: 

打印内容显⽰了在每轮练习期河伯经⽹络能精确辨认测试图像的数量。正如你所⻅到，在仅仅⼀次迭代期后，达到了10,000 中选中的9,129 个,⽽且数⽬还在持续增⻓，经由练习的⽹络给出的辨炔渴艏为95%: 

让我们从新运⾏上⾯的实验，将隐蔽神经元数量改到100: 

　　推荐阅读

　　用Async函数简化异步代码

就像你看到的，这个函数返回一个 promises，将会赋值给 val，猜一下生成器和异步函数示例做了什么!无论你在这个函数返回了什么，你其实是暗地里返回一个 promise 解析到那个值。如不雅你>>>详细阅读

本文标题：理解深度学习的钥匙–参数篇

地址：http://www.17bianji.com/lsqh/34849.html

 1/2    1