作家
登录

大数据时代,软件工程师渐退,算法工程师崛起!

作者: 来源: 2017-11-10 09:12:07 阅读 我要评论

算法的崛起

所以说,算法和代码之间有很大年夜的不合。代码可以用来实现算法,并且代码的实现方法会影响到机能。例如,如不雅你要年腋荷琐序列里找出最大年夜或最小的元素,那么二叉堆的机能比拟其他的数据构造要好很多。不过,你已经没有须要经由过程编写代率攀来实现一个算法,就像没有须要经由过程听音乐来写歌一样。

固然每小我都知道摩尔定律的魔力,驱动数字经济成长的机能改进遵守的就是摩尔定律,但鲜有人知道,在很多范畴,算法所产生的机能改进已经跨越了硬件所带来的机能晋升。实际上,2010 年的一份官方申报注解,算法已经为很多范畴带来了明显的机能晋升,比如语音辨认、神经说话处理和物流。

“加倍令人认为吃惊但同时又令人难以懂得的是,在很多范畴,算法为机能带来的晋升已经远远跨越了处理器速度晋升所带来的机能改进。”——面向总统和国会的申报:设计数字的将来

这个与我们之前评论辩论的工作有什么类似之处?美索不聪慧亚人应用黏土矩阵来进行计算,而到了 20 世纪,枷⒚痱言变成了编码。固然已经有了长足的进步,不过编码仍然是一种离散的操作,因为它履行的是具体的计算义务,只是效力上有所晋升罢了。编码解放了人工操作,让我们可以处理更多的数据。

抽象算法

我们如今拥有大年夜量的数据,这意味着我们不克不及再用离散的思维来思虑问题。大年夜数据促使我们改变思维。它促使我们向撤退撤退一步,去寻找可以或许处理数据大水的办法。按照传统的方法,你可能会根据一些指定的模式或参数编写代率攀来萌芽数据。例如,你可能想大年夜数据库中查找在以前两周买过 2 件商品并且付出跨越 30 欧元的顾客,因为你想接洽到这些顾客,并向他们推荐一些优惠晃荡。你应用这个模式来查找匹配的数据。不过大年夜数据却正好相反,你先有了数据,然后查找可以匹拍┞封些数据的模式。

想想看,有这么多的数据,然则我们却找不到匹配的模式,所以我们要回退一步。我们经由过程集群、分类、机械进修和其他新的支撑技巧来寻找模式,而可以或许赞助我们做到这点的是算法,不是代码。要找到隐蔽在暗处的模式,跨出这一步是必须的。与光谱一样,有一些波长的光线我们是看不到的,而跨越必定命据量之后的模式我们也是看不到的,它就是大年夜数据。

我们不仅可以大年夜中搜刮到模式,它还可以或许生成做这些工作所须要的代码。Pedro Domingos 在“The Master Algorithm”一书中描述了若何应用“进修者算法”来创建新的算法,这些算法可以反过来为我们编写我们所须要的代码,“经由过程机械进修,计算机可以本身编程,我们就可以解放了”。为了实现这个目标,我们须要更好地舆解这些算法的道理,以及若何让它们与我们的需求相匹配。不然,我们就无法向抽象改变。

“工业的成长让手工劳动主动化,信息的成长让脑力劳动主动化,而机械进修则让它本身主动化。如不雅没有机械进修,法度榜样员就会成为成长瓶颈。而有了机械进修,成长的速度就会加快。”——Pedro Domingos,“The Master Algorithm”

思虑算法

不过,不管若何大年夜离散改变成抽象,我们仍然须要法度榜样员,但这不是重点。并不是说代码已经变得不重要了,也不是说代码就不会再带来任何改进。重点在于,我们要开端思虑算法,这不仅仅是数学家或学者的工作。我们周边充斥着各类算法,乃至于我们不须要知道若何编写代率攀来应用它们,或者懂得它们。如今,有一些人经由过程新的算法对不合的范畴进行优化和改进,他们应用了遗传编程(genetic programming)和大年夜数据技巧。人们甚至创造了更好的优化技巧,他们不雅察金属的冷却过程,并经由过程算法对其进行建模(被称为模仿退火算法,这就是我们应当大年夜算法角度开端推敲问题的一个最好的例子)。

编码作为新数字经济的关键技能,就像进修若何浏览一样,已经模糊了我们对算法的懂得。算法正逐渐成为我们生活的构成部分,大年夜片子推荐到消息过滤和寻找合作伙伴。我们要更好地舆解它们,如许才能更好地舆解和掌控我们的将来。

【编辑推荐】

  1. 外媒速递:2017年SaaS、关系型数据库与大年夜数据范畴之数据连接性成长趋势汇总
  2. 外媒速递:关于大年夜数据技巧的五种常见误会
  3. 外媒速递E敉件工程师须要控制的机械进修技能
  4. 荣之联DataZoo大年夜数据平台:基于hadoop但不仅仅只是hadoop
  5. 荔枝FM大年夜数据总监石有滴:搭建高效内容分发体系,建筑全方位UGC生态
【义务编辑:庞桂玉 TEL:(010)68476606】

  推荐阅读

  需求:我只是想在页面上加个链接

Tech Neo技巧沙龙 | 11月25号,九州云/ZStack与您一路商量云时代收集界线治理实践 需求:我欲望在页面上的┞封个地位放一个链接。 「这不是很简单吗?html 文件琅绫擎加个 A 标签就可以了>>>详细阅读


本文标题:大数据时代,软件工程师渐退,算法工程师崛起!

地址:http://www.17bianji.com/lsqh/38689.html

关键词: 探索发现

乐购科技部分新闻及文章转载自互联网,供读者交流和学习,若有涉及作者版权等问题请及时与我们联系,以便更正、删除或按规定办理。感谢所有提供资讯的网站,欢迎各类媒体与乐购科技进行文章共享合作。

网友点评
自媒体专栏

评论

热度

精彩导读
栏目ID=71的表不存在(操作类型=0)