一般参数间的依附关系因模型罢了，所以较难抽象出通用的coordinator来，而必须以某种情势经由过程脚本parser来临盆全部计算义务的DAG图，然后经由过程DAG调剂器来完成。对这个问题的介绍可以参考Erix Xing的分享[5]。
Tensorflow
今朝业界比较有名的深度进修框架有Caffee、MXNet、Torch、Keras、Theano等，但今朝最炙手可热的应当是google宣布的Tensorflow。这里零丁拿出来稍微分化下。
前面不少图片引自此文，大年夜TF的论文来看，TF框架本身是支撑模型并行和数据并行的，内置了一个参数办事器模块，但大年夜开源版本所曝光的API来看，TF无法用来10B级别feature的稀少LR模型。原因是已经曝光的API只支撑在神经收集的不合层和层间进行参数切分，而超大年夜范围LR可以看做一个神经单位，TF不支撑单个神经单位参数切分到多个参数办事器node上。
当然，以google的实力，绝对是可以做到第四重境界的，之所以没有曝光，可能是基于其他贸易目标的考量，比如应用他们的云计算办事。
综上，小我认为如不雅能做到第四重境界，今朝可以说的上是世界一流的大年夜范围机械进修框架。仅大年夜沐帅的ppt里看他曾经达到过，google内部应当也是没有问题的。第三重境界应当是国内一流，第二充应当是国内前列吧。
5. 其他
本文没有涉及到的部分是资本治理，大年夜范围机械进修框架安排的集群往往
资本消费也比较大年夜，须要专门的资本治理对象来保护。这方面yarn和mesos都是佼佼者，细节这里也就不介绍了。
5.2 设备
1. 背景
除了资本治理对象，本身安排大年夜范围机械进修集群本身对硬件也照样有些要
求的，固然理论上来说，所有commodity机械都可以用来搭建这类集群，然则推敲到机能，我们建议尽量用高内存的机械+万兆及以上的网卡。没有超快速的网卡，玩参数传递和样本加载估计会比较苦逼。
6. 结语
台工程才能逐渐歧视起来，认为工程对算法的赞助不大年夜。直到比来一个契机，须要做一个这方面的调研，才豁然发明，之前的工程经验对我懂得大年夜范围机械进修框架异常有效，不雅然如李宗盛所说，人生每一步路，都不是白走的。
申谢
感激wills、janwang、joey、roberty、suzi等同窗一路评论辩论，特别感激burness在TF方面的深挚成就和调研。因为本人程度所限，讹夺不免，别的还有相当多的细节因为篇幅限制并未一一展开，仅仅是大年夜较高抽象层面上简述了下大年夜范围机械进修框架的关键思路，其他如分片向量锁、通信协定、时钟逻辑、DAG调剂器、资本调剂模块等均为展开来讲，欲望今后有机会能补上。
【编辑推荐】
- 大年夜算法实现到MiniFlow实现，打造机械进修的基本架构平台
- 转行AI和机械进修，你最须要控制这五大年夜技能
- 如有有一天，你的小孩问：「爸爸，什么是机械进修呀？」
- 若何应用Scikit-learn实现用于机械进修的文本数据预备
- Google Brain工程师演讲实录：TensorFlow与深度进修
推荐阅读
专访京东张琪：在快速迭代的互联网发展背景下，系统质量保障该何去何从？
带着这个问题，飞马网记者深度查访了京东商城-POP平台-测试与质量治理部负责人张琪，听他讲述10+年对软件测试及质量保障的实践感悟及团队治理经验。张琪，京东商城POP平台测试与质量治理部>>>详细阅读
本文标题：大规模机器学习框架的四重境界
地址：http://www.17bianji.com/lsqh/38476.html
1/2 1
网友点评
精彩导读
科技快报
品牌展示