作家
登录

大数据时代,软件工程师渐退,算法工程师崛起

作者: 来源: 2017-11-09 16:46:49 阅读 我要评论


大年夜数据时代,软件工程师渐退,算法工程师崛起

大年夜数据在仁攀类汗青长河的各个时代一向存在着,只是要比及技巧成长到必定阶段,它才开端崭露头角。而它的将来竽暌怪在哪里?来自 Intercom 的工程师 Cathal Horan 表达了他对大年夜数据的看法,他认为,将来属于算法,而不是代码。

“大年夜数据时代”的称号并不克不及为当当代界所独享,数据充斥着仁攀类文明汗青长河的各个时代。纵不雅这些汗青时代,经由过程大年夜离散到抽象的转换,我们就会明白为什么算法比代码重要。

信息即数据

我们须要将这些信息编撰成册进行保存和传播。经由过程书写的方法将常识编撰成册代表着这些时代在技巧上的重大年夜改变。事实上,苏格拉底(柏拉图“斐德罗篇”里的角色)认为这种技巧改变比不上最初的对话情势,担心它会降低我们开辟聪明和常识的才能。所以很天然地,我不认为苏格拉底会爱好电视。

问题的核心是,对话代表了一种离散的沟通手段。你知道你的交谈对象是谁,并且介入对话的人经由过程论证和反证的方法进行直接的互动。反过来,书本是一种抽象的沟通手段,作者和读者之间不存在直接的互动。作者并不知道谁读了他的书,也不知道有若干人、在什么时刻、在哪里读了他的书。有时刻,我们可能知道潜在的读者群体是谁,然后根据读者群体进行内容裁剪。不过大年夜多半时刻,书本都只是一种抽象的传播常识和进修新技能的手段。

等腰三角形的大年夜数据

当我们大年夜简单的枷⒚情势改变为由定理、符号和算法构成的抽象情势(我们如今称其为数学),就开启了另一个大年夜数据时代。第一批有记录的计算产生在公元前 2500 年的美索不聪慧亚。当时,美索不聪慧亚人须要计算出一谷仓的粮食可以或许赡养若干人。

美索不聪慧亚人有具体的问题存眷点,他们很清跋扈须要解决的问题是什么。他们的计算都是很离散的,因为每一次计算只能解决一个问题。这也就是为什么评论家们认为它们不是数学。直到公元前 500 年的古希腊,毕达哥拉斯学者们(可以把他们认为是早期的 Google 应用者,哈哈)开端针对三角形提出了一些奇怪的问题。比如,他们想知道等腰直角三角形的三个边可否都是整数(这听起来像不像一个 Google 风格的面试题?)。

或许你想知道仁攀类汗青上的其他大年夜数据时代,不过我想直接跳到 20 世纪,看看代码若何成为现代技巧范畴的重要构成部分.

代码的崛起

1945 年,当 Grace Hopper 开端在 Harvard Mark I 计算机上工作时,编码(或者说编程,不过我们不计算在这里区分它们有什么不合)这项工作的重要性就开端凸显出来。在这之前,电脑(如不雅可以这么叫它的话)充其量只是个计算对象。以二战为例,当时的大年夜炮须要借助矩阵进行帮助对准。矩阵是一些方程式的计算结不雅,这些方程式应用数百种不合的计算因子,比如距离、海拔、风速、温度、湿度,等等。电脑(computer)这个名字的由来也是很有时的,人们用它描述在二战中操作计算机的女性,她们被称为“computer”。操作员们必须应用打孔卡和曲柄来处理方程式。一个打孔卡须要 170 小我月才能完成。

这个与我们之前评论辩论的工作有什么类似之处?美索不聪慧亚人应用黏土矩阵来进行计算,而到了 20 世纪,枷⒚痱言变成了编码。固然已经有了长足的进步,不过编码仍然是一种离散的操作,因为它履行的是具体的计算义务,只是效力上有所晋升罢了。编码解放了人工操作,让我们可以处理更多的数据。

我们不仅可以大年夜中搜刮到模式,它还可以或许生成做这些工作所须要的代码。Pedro Domingos 在“The Master Algorithm”一书中描述了若何应用“进修者算法”来创建新的算法,这些算法可以反过来为我们编写我们所须要的代码,“经由过程机械进修,计算机可以本身编程,我们就可以解放了”。为了实现这个目标,我们须要更好地舆解这些算法的道理,以及若何让它们与我们的需求相匹配。不然,我们就无法向抽象改变。

算法与代码

算法:一系列用于描述一个问题解决筹划的步调,相符精确性和有限性的标准。是与具体实现互相自力的抽象计算步调。

代码:一系列计算机指令。它们是计算的具体实现,应用一种特定的编程说话,运行在一个特定的平台上。

人们可以借助这种直接向计算机发送编码指令的方法来实现更为复杂的指令序列,并以算法的情势出现出来。算法比编码的出现要早得多。穆斯林数学家 Al-Khawarizm 早在公元 820 年就对解决线性方程和二次方程式的算法进行了描述。算法一词来源竽暌冠这位数学家的拉丁文名字“Algoritmi”,而“algebra”则来源竽暌冠“al-jabr”,Al-Khawarizm 用它来解决二次方程式问题。算法由一系列有限的计算或指令构成,并产生一个结不雅。正如我们所知道的那样,代码是向计算机发出指令的一种方法,很合实用于实现算法。它们只不过是一系列按照必定次序履行的操作。

与早期的大年夜数据时代一样,我们这个时代的信息量也在增长。根据摩尔定律,我们在编码的设计和应用方面所作的改进换来了机能的晋升,大年夜而可以或许敷衍赓续增长的数字化需求。你可以持续编写代码大年夜数据库萌芽相干的资本列表。这些操作的离散特点仍然被保存了下来,因为人们仍然在经由过程编写代码告诉硬件应当做哪些工作。就算操作变得越来越复杂,它仍然只是仁攀类的编码指令。不过,算法已经开端展露头角,正在创造一个抽象的新时代。

算法的崛起

所以说,算法和代码之间有很大年夜的不合。代码可以用来实现算法,并且代码的实现方法会影响到机能。例如,如不雅你要年腋荷琐序列里找出最大年夜或最小的元素,那么二叉堆的机能比拟其他的数据构造要好很多。不过,你已经没有须要经由过程编写代率攀来实现一个算法,就像没有须要经由过程听音乐来写歌一样。


  推荐阅读

  数据缺失的坑,无监督学习这样帮你补了

Tech Neo技巧沙龙 | 11月25号,九州云/ZStack与您一路商量云时代收集界线治理实践 无监督进修(UL)有很多没开辟的潜力。它是一门大年夜“未标记”数据中推导一个函数来描述其隐蔽>>>详细阅读


本文标题:大数据时代,软件工程师渐退,算法工程师崛起

地址:http://www.17bianji.com/lsqh/38684.html

关键词: 探索发现

乐购科技部分新闻及文章转载自互联网,供读者交流和学习,若有涉及作者版权等问题请及时与我们联系,以便更正、删除或按规定办理。感谢所有提供资讯的网站,欢迎各类媒体与乐购科技进行文章共享合作。

网友点评
自媒体专栏

评论

热度

精彩导读
栏目ID=71的表不存在(操作类型=0)