被忽视的非构造化数据

在2017年的下半年谈论大年夜数据似乎已经没有什么新意，甚职苄些令人生厌了，毕竟这个词在中国已经风行太久，形形色色的产品、平台和公司早已贴满了大年夜数据标签，而真正有价值的立异永远都是少数。

行业对于大年夜数据的认知开端变得加倍理性和客不雅，这是一种成熟的表示。但如不雅是以就认为大年夜数据时代已经进入水静无波的“成长期”，那么我们很可能会错过一场加倍波澜壮阔的变革。

在以前几年，大年夜数据家当更多存眷的是若何处理海量、多源和异构的数据，并大年夜中获得价值，而个中绝大年夜多半都是构造化数据。弗成否定，这些数据的体量足够巨大年夜，然而我们今天必须承认这些只是冰山一角——行业公认的数据是，构造化数据仅占到全部数据量的20%，其余80%都是以文件情势存在的非构造化和半构造化数据，包含各类办公函档、图片、视频、音频、设计文档、日记文件、机械数据等，这些数据如同“暗网”一般地沉默着。可以想象，如不雅我们只浏览了一本书的五分之一，又若何精确懂得这本书的含义呢?

非构造化数据占数据总量的80%以上

事实上，以前大年夜家并非有意忽视非构造化数据，而是受到一些前提的制约和影响，不得不策略性地“放弃”这部分数据：

1、存储资本受限，大年夜量数据被摈弃

非构造化数据体量巨大年夜并且产生速度异常快，须要占用大年夜量的存储资本，而存储成本降低也执偾比来几年的工作，大年夜量数据还没有加以分析和应用就被早早摈弃，以便为新产生的数据腾出空间;

对于已经保存下来的非构造化数据，真要去应用和处理它，依然是一项不谄谀的“体力活儿”。因为体量、距离和网速的原因，非构造化数据并不轻易获得，更不要说被灵活地放入营业分析和处理流程之中了;

3、缺乏处理分析的技巧手段

非构造化数据的价值密度相对较低，缺乏有效的技巧对非构造化数据进行处劳憾ブ析，面对海量文件数据束手无策。比拟之下，构造化数据更轻易入手，优先处理构造化数据也是异常合偶合理的。

构造化数据的局限性

然而在对构造化数据进行分析和发掘的过程中，我们越来越多地发明一些新的问题，甚至已经造成很大年夜困扰：

1、构造化数据可能在“撒谎”

构造化数据的长处在于便于统计和处理，包含构造化数据的形成本身就可能来自于统计。而统计并不克不及代表全部信息，必定存在必定程度的损耗，并带来误导。这也是为什么竽暌剐些时刻明明看似得出了合理的结论，却不克不及有效改进我们的营业。

比拟之下，非构造化数据则“诚实”得多，平日包含了完全而持续的信息，个中充斥了大年夜量渺小但却异常关键的细节，而这些数据将成为我们信息来源的重要构成部分，甚至会起到决定性的感化。

2、仅有构造化数据的世界的确太乏味了

仁攀类先天是感性的生物，我们都爱好丰富多彩的世界，它应当是立体而全方位的，包含了多种感官的信息和刺激，而不仅仅是逝世板的数字。很多时刻我们发明，无论是大年夜受众的接收程度照样所传递的信息量来看，即就是再酷炫的统计图表，也抵不过一分钟活泼的视频。这一点大年夜各大年夜企业官方网站的变更中，就能明显地感触感染到。

别的，值得留意的是，仁攀类对于构造化数据的应用由来已久。比如在企业级市场，包含ERP、CRM、MRP等治理软件一贯都属于这一范畴，而所谓的大年夜数据应用只是一个更高等的阶段罢了。是以，大年夜实际的技巧成长和应用程度的角度来看，构造化数据市场是相当成熟的，也会愈发安稳。好比赛迪在本年5月宣布的一份申报就显示，以ERP和CRM为代表的构造化数据市场增速放缓，比拟之下非构造化数据市场的代表ECM(企业内容治理)则表示出强健的增长动力。我想这也在必定程度上反竽暌钩了市场的看法和整体的趋势。

2011-2016年CRM软件、ERP软件和ECM软件市场范围增速比较

2、数据体量大年夜，获取和流转艰苦

未下世界将长短构造化的

世界随时都在产生变更，时至今日，对非构造化数据的治理和应用走到了一个重要关隘。

一方面得益于存储成本的降低。跟着存储技巧和公有云平台的赓续成长和成熟，用户可以拥有充分并且弹性可扩大的存储资本，用于存放更大年夜量的非构造化数据，大年夜而使得非构造化数据的积聚和应用成为可能。

Hype Cycle for Storage Technologies,2016,Gartner

另一方面，新兴技巧的快速成长也进步了行业对非构造化数据的看重程度。比如物联网、工业4.0、视频直播等范畴的成长产生了更多的非构造化数据，而人工智能、机械进修、语义分析、图像辨认等技巧偏向则须要大年夜量的非构造化数据来开展工作，包含数据库体系也在赓续向非构造化延长。一推一拉之间，都请求我们以新的视角和办法去面对非构造化数据。

可以想象，当我们对非构造化数据有了足够的┞菲握力，并可以或许充分应用的时刻，我们获得的将是一个加倍完全和富有生命力的世界。这个世界，事实上已经并不遥远。

　　推荐阅读

　　深入分析：Onliner SpamBot7.11亿电邮账号泄露事件

媒介日前，安然研究人员在某个网站目次上发清楚明了高达7.11亿个电子邮夏┞肥号，个中包含电子邮件的地址、暗码和SMTP邮件办事器。这些材料今朝已被一个名为“Onliner Spambot&rdqu>>>详细阅读

本文标题：大数据可能「说谎」非结构化数据将呈现更丰富的世界

地址：http://www.17bianji.com/lsqh/37229.html

 1/2    1