这⾥是对小批量数据中所有练习样本乞降，而在线进修是：

如今让我们写⼀个进修若何辨认⼿写数字的法度榜样，使⽤随机梯度降低算法和MNIST

即使它仅仅是 50 倍的时光，结不雅仍然⽐直接在线进修更好，因为我们在线进修更新得太过频繁了。

所以，选择最好的小批量数据⼤⼩也是⼀种调和，太⼩了，你不会⽤上很好的矩阵库的快速计算，太⼤，你是不克不及够⾜够频繁地更新权重的，你所须要的是选择⼀个调和的值，可以最⼤化进修的速度，荣幸的是，⼩批量数据⼤⼩的选择其实是相对独⽴的⼀个超参数(⽹络整体架构外的参数)，所以你不须要优化那些参数来寻找好的⼩批量数据⼤⼩，是以，可以选择的⽅式就是使⽤某些可以接收的值(不须如果最优的)作为其他参数的选择，然落后⾏不合⼩批量数据⼤⼩的测验测验，像上⾯那样调剂 η。画出验证精确率的值随时光(⾮回合)变更的图，选择哪个获得最快机能的晋升的⼩批量数据⼤⼩。获得了 ⼩批量数据⼤⼩，也就可以对其他的超参数进⾏优化了。

跟随膳绫擎看的经验并不克不及赞助你的⽹络给出绝对最优的结不雅，然则很可能给你⼀个好的开端和⼀个改进的基本，特别地，我已经异常独⽴地评论辩论了超参数的选择。实践中，超参数之存放在着很多关系，你可能使⽤ η 进⾏实验，发明效不雅不错，然后却竽暌古化 λ，发明这⾥⼜对 η 混在⼀起了，在实践中，⼀般是往返来去进⾏的，最终慢慢地选择稻?锬值。总之，启发式规矩其实都是经验，不是⾦规⽟律。你应当留意那些没有效不雅的测验测验的旌旗灯号，然后乐于测验测验更多实验，特别地，这意味着须要加倍过细地监控神经⽹络⾏为，特别是验证集上的精确率。

洋洋洒洒这么多，其实也执偾接触了些外相，但相对于很多书本关于公式和代码的堆砌，这写内容切实其实给人以不少启发，让你知道为什么这么做，而让笔者吃惊的是，神经收集的参数调剂很多竟然是没有明白科学根据的，更多的还要依附经验。

【编辑推荐】

1. 有没有精深度进修融入机械人范畴的新测验测验？
2. 深度进修在天然说话处理中的应用
3. 用深度进修(CNN RNN Attention)解决大年夜范围文本分类问题 - 综述和实践
4. 懂得深度进修的钥匙 –发蒙篇
5. 深度进修概述：大年夜感知机到深度收集

【义务编辑：枯木 TEL：（010）68476606】

不幸的是，当练习输⼊的数量过⼤时会花费很⻓时光，如许会使进修变得相当迟缓。

　　推荐阅读

　　用Async函数简化异步代码

就像你看到的，这个函数返回一个 promises，将会赋值给 val，猜一下生成器和异步函数示例做了什么!无论你在这个函数返回了什么，你其实是暗地里返回一个 promise 解析到那个值。如不雅你>>>详细阅读

本文标题：理解深度学习的钥匙–参数篇

地址：http://www.17bianji.com/lsqh/34849.html

 1/2    1