论文链接：https://arxiv.org/abs/1706.10207
摘要：本篇论文旨在介绍关于将最优化办法应用于机械进修的关键模型、算法、以及一些开放性问题。这篇论文是写给有必定常识贮备的读者，尤其是那些熟悉基本优化算法然则不懂得机械进修的读者。起首，我们推导出一个监督进修问题的公式，并解释它是若何基于高低文和根本假设产生各类优化问题。然后，我们评论辩论这些优化问题的一些明显特点，重点评论辩论 logistic 回归和深层神经收集练习的案例。本文的后半部分重点介绍几种优化算法，起首是凸 logistic 回归，然后评论辩论一阶办法，包含了随机梯度法（SGD）、方差缩减随机办法（variance reducing stochastic method）和二阶办法的应用。最后，我们将评论辩论若何将这些办法应用于深层神经收集的练习，并侧重描述这些模型的复杂非凸构造所带来的艰苦。
1 引言
在以前二十年迈，机械进修这一迷人的算法范畴几乎以史无前例的速度崛起。机械进修以统计学和计算机科学为基本，以数学优化办法为核心。事实上，近来竽暌古化办法研究范畴中典范多最新理论和实际进展都受到了机械进修和其它数据驱动的学科的影响。然而即使有这些接洽，统计学、计算机科学和致力于机械进修相干问题的优化办法研究之间仍存在很多障碍。是以本文试图概述机械进修进修算法而打破这种障碍。
表 3 ： 最小化一般凸函数的一阶办法计算复杂度
2.2 二阶办法和拟牛顿法
本篇论文的目标是给出与机械进修范畴相干的一些关键问题和研究问题的概述。推敲到涉及运筹学范畴的常识，我们假设读者熟悉根本的优化办法理论，然则仍将惹人在广义机械进修范畴应用的相干术语和概念，欲望借此促进运筹学专家和其它供献范畴的人员之间的沟通。为了实现这一目标，我们在词汇表 1 中列出了本论文将介绍和应用的最重要的术语。
1.1 解释念头
1.2 进修问题和优化问题
1.3 进修界线、过拟合和正则化
2 解决Logistic回归问题的优化办法（浅层模型的优化办法）
当 L 和 r 是关于 w 的随便率性凸函数时，可以应用在本节中评论辩论的办法来解决问题（11）：
这一类中包含很多机械进修模型，包含支撑向量机、Lasso（Least Absolute Shrinkage and Selection Operator）、稀少逆协方差选择等。有关这些模型的具体信息请拜见 [86] 和个中的参考文献。为了每一步都能具体（展示出来），此处我们指定以二分类的┞俘则化logistic回归为例（进行讲解）。为了简化例子中的符号，我们作不掉一般性的假设，令
。（此处省去了偏置项 b0），这一省略操作可以经由过程在输入向量上增长一维恒为 1 的特点值来弥补）。当 w 和 x 都是 d 维时就可以令其为特定的凸优化问题。
一般来说，对于非凸问题，SGD 的收敛速度记录在 [29,30]，然则它们异常有限，特别是它们不实用于§1.3 中的评论辩论。是以，我们不克不及以同样的方法争辩 SGD 是机械进修中非凸优化问题的最佳办法。此外，下式
好在当每个αk 都设置为一个正的常数α且它是一个足够小的固定值瓯，大年夜理论上分析，该算法的收敛性仍可以获得包管。（固定的步长常数在机械进修范畴叫做进修率。但即使不是常数，也有人把αK 或全部序列 {αK } 叫做进修率）。该算法的收敛速度取决于函数 f 是强凸函数照样弱凸函数。
值得一提的是，对于词攀类问题，正则化项必弗成少。想一想为什么说它必弗成少，假设对于所有的 i ∈{1,...,n}，有参数向量 w，知足 yi(wT*xi) > 0 以及（存在）无界射线 {θw : θ > 0}。那问题就很晴清楚明了，在这个例子中，当 θ →∞时，
也就是说函数（式 12）无法取最小值。另一方面，经由过程增长（强迫）正则化函数 r，可以包管问题（12）将具有最优解。
对于正则化函数 r，我们将会参考常悠揭捉?择
和 r(w) = ||w||1。不过为了简单起见，我们平日会选择前者，因为它使得公式 12 对于每一个因子是持续可微的。相反，r(w) = ||w||1 会导致非腻滑问题，为此，（实现）函数最小化就须要更复杂的算法。
2.1 一阶办法
我们起首评论辩论用一阶办法求解问题（12），这里的」一阶」仅仅指对函数 F 中的参数进行一阶偏导的数学技能。
推荐阅读
【讲师简介】AI在教导范畴的应用还处于初级阶段【51CTO.com原创稿件】由51CTO主办的WOTI2017全球立异技巧峰会将于2017年7月21日拉开帷幕。本次峰会将环绕机械进修、人机交互和智+应用三个>>>详细阅读
地址：http://www.17bianji.com/lsqh/36147.html
1/2 1
网友点评
精彩导读
科技快报
品牌展示