作家
登录

有没有想过,你的数据分析方法可能已经过时?

作者: 来源: 2017-11-03 16:06:13 阅读 我要评论


 

      信息时代,能吃到虫子的已不再是夙兴的鸟儿,而是那些数据驱动的、夙兴的鸟儿。像百度、阿里巴巴和腾讯如许的大年夜公司,都在赓续囤积数据,因为他们都知道数据是黄灿灿的瑰宝。

然而,在拥挤不堪、投资多余的数据分析市场上,供给商为了卖出本身的产品赓续放出烟雾弹,想要穿过烟雾看到“本相”,倒是一大年夜难事。以下五点,是将来数据分析市场可能的走向,仅供参考。


1. BI迁徙到应用法度榜样

在以前的20年迈,我们见证了一场概绫屈。不是一夜之间产生的那种,而是逐渐产生的,迟缓的,可能很多人没有留意到。BI(贸易智能)正走向逝世亡。或者更精确地说,BI正在进行着彻头彻尾的改变。

每年,用户都在经由过程他们应用的应用法度榜样——比如HubSpot、SalesForce和MailChimp——进行更多的分析。分析正在迁徙到营业应用法度榜样的构造中。

大年夜本质上讲,营业应用法度榜样正在获取它们本身的分析接口,根据它们的数据和用例进行定制。这种集成和自定义使得其分析接口比深奥的、复杂的通用BI更轻易被用户接收。跟着B2B应用法度榜样开端在数据智能产品上展开竞争,这一趋势将会持续下去。


2. 编译器超出分析引擎

汗青上,数据分析有两种供给方法:经由过程估计算,或者经由过程分析引擎。


分析引擎,如Spark和Tableau的数据引擎,负责履行所需的计算,以答复关于组织数据的关键问题。

如今,这个范畴出现了一个新的玩家:分析编译器。分析编译器可以灵活地将计算安排到不合的基本举措措施。分析编译器的例子包含如今大年夜火的TensorFlow,它可以将计算安排到GPU或CPU等。

编译器比分析引擎灵活得多,因为它们可以进行数据处理,并且我们可以将它们进行转换,以在不合的基本举措措施中运行(在数据库中,在Spark中,在GPU中,等等)。在理论上,编译器也可以生成比任何解释引擎都快的工作流。


甚至Spark也一向在获取根本的编译对象,这无疑是编译器在此驻留的标记,并且可能最终会使遗留的纯计算引擎相形见绌。

3. ETL多样化

很少有一个术语能比“ETL”(提取转换加载)更让大年夜佬们头疼。ETL聚积了大年夜量不完全的、反复的、不相干的数据,像污水一样被排放出来,清理干净,然后被推到一个可以处理这些数据的处所。
但仅仅囤积数据是不敷的。你须要闇练地筛选、全盘懂得数据湖中溢出的所稀有据。只有如许,你才能经由过程这些数据,做出更好的决定计划,打造更智能的产品。

ETL是现代、敏捷和数据驱动等关键词典对立面。ETL意味着赓续反复的数据,无数的延迟,以及高额的费用。它无法答复重要的问题。

为了让ETL变得加倍灵活,行业内已经开辟出了各类各样的替代筹划。这些解决筹划包含高等的ETL对象——使ETL更轻易进入Hadoop或数据仓库,到流ETL解决筹划,再到应用机械进修交叉引用和删除反复数据的ETL解决筹划。
另一个异常有趣的技巧类别包含像Dremio和Xcalar如许的对象,它们将ETL重构为提取-加载-转换(或ELT)。本质上,它们将转换的步调推到最后,是以不必再预先辈行提取、加载或转换。

大年夜汗青上看,ELT的速度很慢,但这些下一代解决筹划经由过程动态调剂、索引懈弛存常见的转换来快速地进行拼写。这供给了传统ETL的机能,同时具有后期转换的灵活性。

不管你若何对待它,ETL正在经历着戏剧性的演变,这将使组织可以或许比以往更轻易地快速地应用数据,而无需消费大年夜量时光和蔼贵的前期投入。

4. 数据仓库开放

大年夜型组织的问题多半在于无法大年夜专注于精心设计的分析。大年夜多半公司甚至无法合计和计算他们有若干瘪据。不是因为计数很艰苦,而是因为一个大年夜型组织中的数据一般分散在万个数据竖井中。

不过因为云(包含API概绫屈和治理数据解决筹划)和ETL比来的进展,使得组织以构造化的方法拜访更多的数据变得比以往任何时刻都要轻易。

下一代数据治懂得决筹划将在应用这些技巧进步中发挥重要感化,使所有的组织的数据可以或许及时地对所有合适的人进行分析。

机械进修方才度过了炒作的岑岭弃,或者至少我们可以欲望是如斯。机械进修是不完美和无罪的致命组合。当机械进修掉足的时刻(平日也是弗成避免的),我们不知道该去责备谁。
这对于任何一种关键义务分析都是绝对不克不及容忍的。


是以,距离我们把人工智能练习成社会最聪慧的人,接收全部常识,仍是异常遥远的,远跨越5年。

在此之前,我们很可能会看到机械进修专注于某些场景的应用。例如构造化数据集的黑盒猜测分析;仁攀类帮助技巧可以让人们看到不合数据源之间的连接,改┞俘常见缺点,发明异常现象。这些并不是科幻小说中所提到的超等大年夜脑,但它们会让用户更轻易找到问题,并赞助引导他们找到精确的谜底。

固然分析是一个巨大年夜的市场,充斥着令仁攀困惑的营销谈吐,但一些大年夜的趋势也可以赞助企业决定在哪里进行投入。

将来5年,这些大年夜的趋势可能会影响到组织应用的对象,获得融资的数据分析型创虻公司,以及我们在全部数据分析范畴中看到的立异,大年夜数据仓库到可视化分析前端。在须要弄清跋扈数据架构和技巧客栈应当是什么样子的时刻,要根据自身实际情况,做出明智的决定计划。


【编辑推荐】

  1. 机械进修和大年夜数据正赞助化学家搜寻药物
  2. 人平易近法院对接大年夜数据 促进司法精细化
  3. 91金融CTO宋传胜:金融大年夜数据做得好不好,数据处理细节见分晓!
  4. 安然人寿谢佳标:应用Microsoft R Server对大年夜数据进行机械进修

      推荐阅读

      如何保证ERP系统的数据安全?

    1、外部拜访授权不敷规范一、来自收集层面的威逼 大年夜收集层面来说,ERP数据安然所遭受到的威逼重要来自于两个方面。一是外部拜访授权不敷规范;二是在内部收集上可能存在窃听。 ERP畏>>>详细阅读


    本文标题:有没有想过,你的数据分析方法可能已经过时?

    地址:http://www.17bianji.com/lsqh/38467.html

关键词: 探索发现

乐购科技部分新闻及文章转载自互联网,供读者交流和学习,若有涉及作者版权等问题请及时与我们联系,以便更正、删除或按规定办理。感谢所有提供资讯的网站,欢迎各类媒体与乐购科技进行文章共享合作。

网友点评
自媒体专栏

评论

热度

精彩导读
栏目ID=71的表不存在(操作类型=0)