个中是关于第一个参数的损掉函数 l(·, ·) 的海塞矩阵，∇p(w, xi) 是 dy-维函数 p(w, x) 对于权重 w 的雅可比式，∇^2 [pj (w, xi)] for all j ∈ {1, . . . , dy} 是关于 w 的按元素运算的海塞矩阵。

3.4 子采样海森办法（Subsampled Hessian method）

比来，在一系列论文（3, 15, 34）中，研究察们应用一个很一般的随机模型框架，对凸区域和非凸情况下的置信域、线搜刮和自适应三次正则化办法进行了分析。在这项工作中，它注解，只要梯度和 Hessian 估计是足够精确的一些正概率，应用随机不精确梯度和 Hessian 信息的标准优化办法就可以保存其收敛速度。

在机械进修和采样 Hessian 和梯度的情况下，结不雅只请求| SK |必须选择足够大年夜的相对于该算法采取的步调的长度。例如，在 [ 3, 34 ]，| SK |大年夜小与置信域半径的关系。须要留意的是，对于采样的海塞矩阵，其对样本集的大年夜小请求比采样的梯度要高得多，是以支撑应用精确梯度的海塞估计的思惟催生了强大年夜的算法，它拥有强大年夜理论支撑和优胜的实践高效性。

【编辑推荐】

1. 大年夜数据：机械进修专家带你实践LSTM说话模型
2. 机械进修和深度进修是怎么一回事？Faizan Shaikh来帮你解答
3. 何时浅探，何时深究—机械进修不是一张纸就能说完的
4. 挨踢部落坐诊第六期：机械进修若何断定突发情况？
5. 若何应用JavaScript构建机械进修模型

　　推荐阅读

　　【WOTI】英语流利说林晖：AI在教育领域尚处初级阶段

【讲师简介】AI在教导范畴的应用还处于初级阶段【51CTO.com原创稿件】由51CTO主办的WOTI2017全球立异技巧峰会将于2017年7月21日拉开帷幕。本次峰会将环绕机械进修、人机交互和智+应用三个>>>详细阅读

本文标题：从浅层模型到深度模型：概览机器学习优化算法

地址：http://www.17bianji.com/lsqh/36147.html

 1/2    1