【技巧沙龙】AI开辟者拭魅战营-7分钟打造1个定制技能。7月22号，我们等你一路！
【51CTO.com原创稿件】在万物智能互联时代，数以亿计的智能互联设备及其产生的数据大水带来了家当的数字化变革。越来越多的企业欲望借助机械进修与深度进修，大年夜海量数据中获取切实可行的洞察以指导企业决定计划、创造更多价值。借助计算、存储和收集等基本举措措施的优势，英特尔在数据分析与人工智能范畴深耕已久，并经由过程与合作伙伴的合作，给用户供给了端到端的软硬件全平台解决筹划。近期，由O'Reilly Media和Cloudera结合举办的Strata Data Conference大年夜会在京召开。时代，笔者受邀查访了英特尔公司软件与办事事业部副总裁，体系技巧和优化部分大年夜数据技巧总监马子雅和Cloudera结合开创人兼首席技巧官Amr Awadallah，就英特尔与Cloudera在数据分析和人工智能方面的合作话题进行了商量。
倍数晋升的数据分析机能
7月12日，英特尔正式推出了至强可扩大处理器，因为采取全新的内核微架构、核内互联和内存控制器，是以基于至强可扩大处理器的平台供给了加倍优化的数据中间和收集基本举措措施所需的机能、靠得住性和可治理性，使得企业获得更高机能，将洞察付诸实施、实现营业持续性，并知足及时办事交付方面的需求。
英特尔供给的数据显示，与上一代产品比拟，英特尔至强可扩大处理器的┞符体机能晋升达1.65倍，OLTP仓库负载比当前体系进步达5倍。借助Intel AVX-512以及集成Intel OPA端口，英特尔至强可扩大处理器可将每秒浮点运算机能最高晋升到2倍。比拟上一代产品，英特尔至强可扩大处理器的大年夜数据工作负载基本机能晋升了2.7倍，针对深度进修练习和推理可供给高达2.2倍的机能。结合可加快交付人工智能办事的软件优化，比拟3年前未经优化的办事器体系，全新的处理器可实现113倍深度进修惯能的晋升。
除了硬件进级之外，英特尔与Cloudera深度合作，在软件方面进行了周全优化。优化之后，Hbase非堆存储读操作机能晋升了5.6倍，在没有增长任何硬件成本的情况下，阿里巴巴在“双11”时把HBase的Throughput晋升了30%，吞吐量晋升了30%。此外，把MKL应用到用户Spark机械进修的工作负载中，并实现了4.3倍的机能晋升。
马子雅表示，本年第一季度，BigDL已经宣布了一个版本，第二版本将会在本年第二季度推出，与第一版本相比，它在Python API的支撑，尤其是对支撑载入Caffe、Torch、TensorFlow的预练习模型上有了很大年夜的晋升。别的，在用户体验，包含供给一些更丰富的RNN的支撑上，第二版本将会加倍周全。
英特尔公司软件与办事事业部副总裁兼体系技巧和优化部分大年夜数据技巧总监马子雅
英特尔公司软件与办事事业部副总裁，体系技巧和优化部分大年夜数据技巧总监马子雅表示，英特尔经由过程硬件进级和软件优化来赞助推特技巧平易近主化，至强可扩大处理器已经正式推出，硬件进级已经完成。经由过程与合作伙伴的合作，对软件进行周全优化，机能和性价比都有了前所未竽暌剐的晋升。并且，英特尔已经将所有的软件优化代码全部供献给了开源，包在最新的Cloudera版本。
深度进修存在着四大年夜痛点
很多用户认为深度进修的重要痛点是机能，只要有足够强大年夜的机能，即可以解决深度进修存在的各类问题。在马子雅看来，机能并非深度进修的重要痛点，用户的┞锋正痛点重要有四个方面。
【51CTO原创稿件，合作站点缀载请注明原文作者和出处为51CTO.com】
一是若何应用已有的海量数据分析平台，比如Hadoop、Spark，或者是跟已有的分析应用法度榜样直接结合，而不是零丁作为一个分开练习的功能存在。
二是若何精深度进修在一个集群长进行扩大，不是在一个或者两个分布式的节点上。这也是当前很多软件公司开端把Spark跟Caffe、TensorFlow进行结合，把已有的深度进修框架跟Spark可扩大性浇忧⒔一可儿，来解决高效可扩大性痛点。当然，因为 Caffe、TensorFlow并不是为扩大性设计的，也不是为Spark设计的，当把两个筹划浇忧⒔一块立时，根本无法实现数据并行跟模型练习并行，只是外面把这两个产品黏合到一可儿去，根本无法做到真正的分布式的深度进修的功能。
三是若何解决深度进修昂扬价值的问题，用户不欲望安排一个异常昂贵的新集群，而是应用已有集群添加深度进修功能。
四是若何用高机能来缩短模型练习的周期。
基于以上四大年夜痛点，英特尔推出了BigDL。BigDL是在Spark的基本上构建了分布式深度进修的框架，将以往的深度进修框架同Spark结合之后，优势异常凸起。
起首，BigDL深度进修功能与已有深度进修框架功能完全一致，例如Caffe和Torch。BigDL琅绫擎有100独裁Implementation，功能相当丰富。第二，BigDL可以或许无缝与Spark和Hadoop进行结合，直接构成。第三，BigDl可以或许应用Spark的可扩大性做到数据并行，拥有强大年夜的可扩大性，可以在一个集群长进行扩大，并且异常轻易扩大到上百个节点。第四，低成本。因为可以应用BigDL在已有的集群上直接生成深度进修，所以成本异常低。最后，高机能。经由过程应用英特尔优化过的数学核心函数库和多线性优化办法来晋升BigDL的机能，特别是在至强办事器上，机能优势异常明显。
深度合作推动人工智能落地
英特尔与Cloudera重要在三个方面杀青了深度合作，一个是任何英特尔硬件都将会与Cloudera合营进行软件优化，并应用英特尔最新的硬件技巧来做一些合作。二是在开源方面英特尔与Cloudera的所有合作都是最先到开源，供献给开源。之后Cloudera会把功能大年夜开源里再放到本身的解决筹划和产品傍边去。三是合营合作项目，一路赞助用户解决问题。
推荐阅读
【技巧沙龙】AI开辟者拭魅战营-7分钟打造1个定制技能。7月22号，我们等你一路！ 【51CTO.com原创稿件】你会选择参加一家不足20人的创虻公司么？大年夜多半人可能会说“不”，因>>>详细阅读
本文标题：英特尔马子雅：深度学习四大痛点与BigDL解决之道
地址：http://www.17bianji.com/lsqh/36345.html
1/2 1
网友点评
精彩导读
科技快报
品牌展示