51CTO诚邀您9月23号和秒拍/国美/美团元专家一路聊智能CDN的优化之路,抓紧时光哦!
比来,Google Brain员工,TensorFlow产品经理Zak Stone在硅谷创颐魅者社群South Park Commons上做了个讲座,谈到了TensorFlow、XLA、Cloud TPU、TFX、TensorFlow Lite等各类新对象、新潮流若何塑造着机械进修的将来。同时,他还暗示了一些还未向"大众,"披露的exciting的事儿。
讲座的标题叫“Tensor Flow, Cloud TPUs, and ML progress”,以下是全部讲座的概要,编译整顿自South Park Commons官方博客。

作为一个平台来说,TensorFlow算是一场豪赌:它兼顾了快速,灵活,还可用于临盆。实验和履行之间的转换要足够快,才能包督工程临盆力,静态图像计算经由过程Python等高等灵活的说话来表示,同时图编译许可对特定目标进行精确度优化。
将来十年,软件工程会变成什么样?

作为一个开源项目,TensorFlow极为成功,它大年夜2015年11月宣布至今在Github上已经获得了跨越20,000个commit。Github版的TensorFlow每周与Google内部镜像文件之间至少会进行一次双向同步,同时TensorFlow也收成潦攀来自Intel,Microsoft,IBM,Rstudio,Minds.ai以及其他公司研发团队的大年夜大年夜小小的供献。
为了更好地触及用户,可以或许在移动端上进步运行TensorFlow模型效力的TensorFlow Lite将会在本年晚些时刻内嵌到设备中,而像XLA如许的项目更具野心:XLA应用深度进修来支撑线性代数元的先时和及时编译,大年夜而为随便率性的目标后端体系生成加快过的代码。XLA的目标是在递阶优化上实现重大年夜冲破,不仅是在GPU架构上,更是要在随便率性可以或许平行放置线性代数元的架构上实现冲破。

谷歌内部,在CEO Sundar Pichai要成为“AI-first”公司的号令下,TensorFlow被应用到异常多的项目傍边。
而加快研发基于机械进修软件的趋势不仅在Google身上产生,亚马逊,苹不雅,百度,Facebook,微软,Salesforce,Uber,Lyft等几乎所有的主流科技企业也都雇佣了专业的研发团队来推念头器进修的工业化。而在这些公司中,深度进修的开辟平台也是八门五花,个中包含来自Facebook的PyTorch和Caffe2,来自Microsoft的CNTK,来自Apple的Core ML以及来自Amazon的MXNet等。
机械进修的崛起,意味着本来的clean abstraction和模块化设计正在被高维浮点张量和高效矩阵乘法所代替。
按这种趋势成长下去,软件工程行业将被改变。
Google软件工程师D. Sculley曾写过一篇题为“Machine Learning: The High-Interest Credit Card of Technical Debt”的文┞仿,他在个中列举出了机械进修体系诱发低劣软件的设计的各种可能,甚至会使这些低劣的设计成为必须。他提到,“这些体系的根本代码跟正常代码拥有雷同的复杂度,但在体系层面上拥有更大年夜的复杂度,大年夜而可能激发潜在的风险。”(https://research.google.com/pubs/pub43146.html)
机械进修体系经由过程将所有体系输入慎密耦合,模糊了模型界线和抽象:幻想的行动不变性不是来自软件逻辑,而是来自于驱动它们的特定外部数据。尽管存在经由过程静态分析和图连接来辨别代码靠得住性的对象,但总体上,这些对象并没有办法用来分析数据的相干性。
1. Glue Code(粘滞的代码)体系设计样式,“在这个中须要写大年夜量的支撑代码负责把数据传入、传出各类用处的安装包”;
2. Pipeline jungles(混乱无章的流水线),它会随时光有机地演变,数据预备体系“可能会变成由scape,join和sampling步调构成的一团乱麻,平日还伴跟着中心文件的输出”;
3. Configuration debt(宏大年夜的编译价值),将会跟着体系和临盆线的研发而逐渐累积,集合了“各类编译选项,包含应用的特点有哪些,如何筛选数据,特定进修算法的设置(范围很宽),潜在的预处理或者后处理,验证办法等等。”
即使在更小、更轻量化的项目中,工程师还会被以下这些问题困扰:
1. 在实验中模型架构和权重的版本——尤其是当模型大年夜不合体系借来了部分练习模型,或者大年夜其他模型借来了权重的时刻。
2. 数据来源和特点的版本;
创造和治理一个可用于靠得住地临盆和安排机械进修模型的平台,须要在很多部件之间进行过细编排——这些部件包含基于练习数据生成模型的进修器、用于分析和验证数据和模型的模块、以及最终在临盆工程顶用于安排模型的基本架构。当数据跟着时光变更且模型在持续更新时,平台的治理就变得异常难。

3. 在实验情况和实际临盆情况之间的迁徙(domain shift);
4. 监测临盆中揣摸的质量。
解决这些问题的一个可能筹划是TFX,它是一个Google内部研发的平台,用来在临盆平分布和供给机械进修模型:
不幸的是,这些编排平日是经由过程glue code和特定的脚本文件来竽暌剐针对性的一一处理,导致了复制成本大年夜、体系脆弱的同时伴跟着大年夜量的技巧隐患。
TFX标准化了这些过程和部件,并把它们整合到单个平台上,大年夜而简化了平台编译的过程,在确保平台靠得住性、削减办事崩溃的基本上,将制造的时光大年夜数月削减到了数周。
推荐阅读
51CTO诚邀您9月23号和秒拍/国美/美团元专家一路聊智能CDN的优化之路,抓紧时光哦! Windows操作体系在全球市场上的┞芳比是大年夜家有木懿睹的,而现代Windows平台都默认安装了PowerShell,>>>详细阅读
本文标题:TensorFlow产品经理:机器学习如何改变未来十年的软硬件?
地址:http://www.17bianji.com/lsqh/37349.html
1/2 1

网友点评
精彩导读
科技快报
品牌展示