相较于SGD，Adagrad相当于对进修率多加了一个束缚，即：

Adagrad的长处是，在练习初期，因为gt较小，所以束缚项可以或许加快练习。而在后期，跟着gt的变大年夜，会导致分母赓续变大年夜，最终练习提前停止。

3.4.4 Adam

Adam是一个结合了Momentum与Adagrad的产品，它既推敲到了应用动量项来加快练习过程，又推敲到对于进修率的束缚。应用梯度的一阶矩估计和二阶矩估计动态调剂每个参数的进修率。Adam的长处重要在于经由偏置校订后，每一次迭代进修率都有个肯定范围，使得参数比较安稳。其公式为：

个中：

小结

经由过程实践证实，Adam结合了Adagrad善于处理稀少梯度和Momentum善于处理非安稳目标的长处，相较于其他几种优化器效不雅更好。同时，我们也留意到很多论文中都邑引用SGD，Adagrad作为优化函数。但相较于其他办法，在实践中，SGD须要更多的练习时光以及可能会被困到鞍点的缺点，都制约了它在很多真实数据上的表示。

3.5 损掉函数的选择

个中y是我们期望的输出，a