跟着人工神经收集算法的成熟、GPU计算才能的晋升，深度进修在浩瀚范畴都取得了重大年夜冲破。本文介绍了微博惹人深度进修和搭建深度进修平台的经验，特别是机械进修工作流、控制中间、深度进修模型练习集群、模型在线猜测办事等核心部分的设计、架构经验。微博深度进修平台极大年夜地晋升了深度进修开辟效力和营业迭代速度，进步了深度进修模型效不雅和营业效不雅。
深度进修平台介绍
图5 TensorFlow分布式架构
图2 微博机械进修工作流
人工智能和深度进修
人工智能为机械付与人的智能。跟着计算机计算才能越来越强，在反复性劳动和数学计算方面很快跨越了仁攀类。然而，一些仁攀类经由过程直觉可以很快解决的问题，例如天然说话懂得、图像辨认、语音辨认等，经久以来很难经由过程计算机解决。跟着人工神经收集算法的成熟、GPU计算才能的晋升，深度进修在这些范畴也取得了重大年夜的冲破，甚至已经超进出类。深度进修大年夜大年夜拓展了人工智能的范畴范围。
深度进修框架
深度进修框架是进行深度进修的对象。简单来说，一套深度进修框架就是一套积木，各个组件就是某个模型或算法;开辟者经由过程简单设计和组装就能获得本身的一套筹划。深度进修框架的出现降低了深度进修门槛。开辟者不须要编写复杂的神经收集代码，只须要根据本身的数据集，应用已有模型经由过程简单配制揭捉?练出参数。
TensorFlow、Caffe和MXNet是三大年夜主流的深度进修开源框架：TensorFlow的优势是社区最活泼，开源算法和模型最丰富;Caffe则是经典的图形范畴框架，应用简单，在科研范畴占领重要地位;MXNet在分布式机能上表示优良。PaddlePaddle、鲲鹏、Angel则是百度、阿里、腾讯分别推出的分布式计算框架。
2015岁尾，Google开源了TensorFlow深度进修框架，可以闪开辟者便利地组合CNN、RNN等模块实现复杂的神经收集模型。TensorFlow是一个采取数据流图(data flow graphs)，用于数值计算的开源软件库。
深度进修平台
2016年，百度开源了PaddlePaddle(PArallel Distributed Deep LEarning 并行分布式深度进修)深度进修框架。PaddlePaddle具有易用，高效，灵活和可伸缩等特点，为百度内部多项产品供给深度进修算法支撑。
深度进修框架重要供给神经收集模型实现，用于进行模型练习。模型练习只是机械进修和深度进修中的一环，除此之外还稀有据输入、数据处理、模型猜测、营业应用等重要环节。深度进修平台就是整合深度进修各环节，为开辟者供给一体化办事的平台。深度进修平台可以或许加快深度进修的开辟速度，缩减迭代周期;同时，深度进修平台可以或许将计算才能、模型开辟才能共享，晋升开辟效力和营业效不雅，也可以或许将资本合理调剂，进步资本应用率。
腾讯深度进修平台DI-X
腾讯深度进修平台DI-X于2017年3月宣布。DI-X基于腾讯云的大年夜数据存储与处理才能来供给一站式的机械进修和深度进修办事。DI-X支撑TensorFlow、Caffe以及Torch等三大年夜深度进修框架，重要基于腾讯云的GPU寂?娼台。DI-X的设计理念是打造一个一站式的机械进修平台，集开辟、调试、练习、猜测、安排于一体, 让算法科学家和数据科学家，无须存眷机械进修(尤其是深度进修)的底层工程繁琐的细节和资本，专注于模型和算法调优。
DI-X在腾讯内部应用了一年，其重要用于游戏流掉率猜测、用户标签传播以及告白点击行动猜测等。
阿里机械进修平台PAI
阿里机械进修平台PAI1.0于2015年宣布，包含数据处理以及基本的回归、分类、聚类算法。阿里机械进修平台PAI2.0于2017年3月宣布，配备了更丰富的算法库、更大年夜范围的数据练习和周全兼容开源的平台化产品。深度进修是阿里机械进修平台PAI2.0的重要功能，支撑TensorFlow、Caffe、MXNet框架，这些框架与开源接口兼容。在数据源方面，PAI2.0支撑非构造化、构造化等各类数据源;在计算资本方面，支撑CPU、GPU、FPGA等异构计算资本;在工作流方面，支撑模型练习和猜测一体化。
百度深度进修平台
功课治理：我们在进行深度进修、大年夜范围机械进修、及时处理的过程中，因为须要各类不合框架的合营应用合营完成一个义务，比如TensorFlow合适进行高机能进修、Spark合适大年夜范围亿维特点练习、Storm或者Flink合适及时特点生成以及及时模型生成等，将这些浇忧⒔一路才能完成大年夜离线练习到线上及时猜测。以前这须要开辟者去进修各类框架复杂的底层开辟，如今经由过程控制中间选择不合的功课类型，可以便利地生成各类类型的功课义务。用户只须要在可视化UI长进行功课类型选择、数据源选择、输出目标地选择或者应用WeiFlow进行编程，就能生成一个高大年夜上的深度进修或机械进修功课。
百度深度进修平台是一个面向海量数据的深度进修平台，基于PaddlePaddle和TensorFlow开源计算框架，支撑GPU运算，为深度进修技巧的研发和应用供给靠得住性高、扩大灵活的云端托管办事。经由过程百度深度进修平台，不仅可以轻松练习神经收集，实现情感分析、机械翻译、图像辨认，也可以应用百度云的存储和虚拟化产品直接将模型安排至应用情况。
微博深度进修平台设计
微博在Feed CTR、反垃圾、图片分类、明星辨认、视频推荐、告白等营业上广泛应用深度进修技巧，同时广泛应用TensorFlow、Caffe、Keras、MXNet等深度进修框架。为了融合各个深度进修框架，有效应用CPU和GPU资本，充分应用大年夜数据、分布式存储、分布式计算办事，微博设计开辟了微博深度进修平台。
推荐阅读
图1、PHP vs Python vs Ruby: 市场份额Winner - PHP图2、PHP vs Python vs Ruby: 主流网站应用情况Winner - 平局【编辑推荐】Go说话大年夜神亲述:历七劫方可成为法度榜样员!2017年10月编程>>>详细阅读
本文标题：微博深度学习平台架构和实践
地址：http://www.17bianji.com/lsqh/37891.html
1/2 1
网友点评
精彩导读
科技快报
品牌展示