3.4 优化器（Optimizer）的选择

在深度进修中，选择合适的优化器不仅会加快全部神经收集练习过程，并且会避免在练习的过程中困到鞍点。文中会结合本身的应用情况，对应用过的优化器提出一些本身的懂得。

3.4.1 Stochastic Gradient Descent (SGD)

SGD 是一种常见的优化办法，即每次迭代计算Mini-Batch的梯度，然后对参数进行更新。其公式为：

如不雅有多个样本，则全部样本集的平均交叉熵为：

缺点是对于损掉方程有比较严重的┞否荡，并且轻易收敛到局部最小值。

3.4.2 Momentum

为了克服SGD振荡比较严重的问题，Momentum将物理中的动量概念惹人到SGD傍边，经由过程积聚之前的动量来替代梯度。即：

相较于SGD，Momentum就相当于在大年夜山坡上一向的向下走，当没有阻力的话，它的动量会越来越大年夜，然则如不雅碰到了阻力，速度就会变小。也就是说，在练习的时刻，在梯度偏向不变的维度上，练习速度变快，梯度偏向有所改变的维度上，更新速度变慢，如许就可以加快收敛并减小振荡。

3.4.3 Adagrad

深度进修和逻辑回归的融合使得我们可以兼得二者的长处，也为进一步的点击率预估模型设计和优化打下了坚实的基本。

　　推荐阅读

　　特斯拉Model 3驾驶初体验：它会改变一切

自成立之日起，特斯拉电动汽车公司就承诺要推出一款大年夜众型电动汽车。美国本地时光7月28日，这款汽车终于面世。在位于加州的工厂中，特斯拉向首批30位买家交付了Model 3。美国主流收集>>>详细阅读

本文标题：深度学习在美团点评推荐平台排序中的运用

地址：http://www.17bianji.com/lsqh/36483.html

 1/2    1