从浅层模型到深度模型：概览机器学习优化算法

2.1.1 梯度降低法

大年夜概念上讲，最小化滑腻凸目标的最简单的办法是梯度降低法，具体分析拜见 [ 62 ]。在这种办法中，大年夜初始化估计值 w0 开端，经由过程下述公式迭代地更新权重估计值。

个中 αk > 0 是一个步长参数。步长序列 {αk} 的选择直接决定此算法的机能。在优化研究范畴，人们广泛认为，在每次迭代中采取线性搜刮来肯定 {αk }，可认为解决各类类型的问题找到一个机能优胜的算法。然而，对于机械进修应用法度榜样来说，这种运算成本昂扬，因魏每次函数 F 的计算都须要传递全部数据集，如不雅 n 过大年夜，很可能带来昂扬的（练习）成本。

用于解决 L1 范数正则化的logistic回归问题的梯度降低和加快梯度降低拓展算法分别被称作 ISTA 和 FISTA。我们不雅察到，在这种情况下，即使λ> 0，目标函数也不会是强凸函数。只有目标函数为凸时 [5]，ISTA 和 FISTA 具有与其对应的腻滑函数雷同的次线性收敛速度。

梯度降低袈溱 ML 练习过程中的一个重要特点就是计算出每次迭代中求解函数 F 的梯度的运算成本。在 ML 的练习过程中，单个梯度计算的成本平日是 O（ND），这个确切可以看到，例如，在正则化项为的情况中，函数 F 关于每一个特定的 w 的梯度是

2.1.2 随机梯度法

在每一次迭代中，随机梯度法都邑计算梯度 F（Wk）的无偏估计 GK。该估计可以以及低的价值计算获得；例如，对于公式（12），某次迭代的随机梯度可被求解为

个中 Sk 被称作小批量，它的所有元素都是大年夜总数据集 {1,...,n} 中按平均分布选出来的。接下来的运算类似于梯度降低：

毫无疑问，该算法的关键在于选择步长序列 {αk}。不合于梯度降低，固定的步长（即进修率）不克不及包管算法会收敛到强凸函数 F 的最小值，而只包管收敛到最小值的邻域。

SGD 的收敛速度比梯度降低慢。尤其当函数 F 是强凸函数时，该算法只包管当 k ≥ O(1/ε) 时可以获得预期精度的解（即知足 E[F(wk)]-F(w) ≤ ε的解），而当函数 F 仅仅是凸函数时，只有在 k ≥ O(1/ε^2) [11] 时才能包管得出上述解。

另一方面，正如前文说起的，如不雅 Sk 的大年夜小由一个常数限制（自力于 n 或 k 的常数），那么 SGD 的每次的迭代成本都比梯度降低法小 0（n）倍。

然而，在实际应用中，标准的 SGD 并不必定是解决机械进修中优化问题的最有效办法。事实上，机械进修和优化算法范畴在开辟改进或替代 SGD 方面进行了大年夜量的积极研究。在随后的两部分中，我们将评论辩论两类办法：方差缩减法和二阶办法。然则在这两类办法以外，还有多种办法。例如，加有动量的 SGD 就是一个实践中被发明的机能好于好于标准 SGD 的拓展版 SGD。见下图算法 1