固然很多专业技巧范畴都可以归类为对非构造化数据的处理，但总体应用范围并不广泛，大年夜多半用户还用不上这些专门技巧，而只是须要把这些数据存储下来。非构造化数据没有通用的分析计算技巧，但存储和响应的治理(增删检索等)是可以通用化的。非构造化数据占据的空间较大年夜，经常须要不合于构造化数据的特别存储手段。

大年夜数据概念鼓起的同时也带热了非构造化数据分析。传说一个企业中80%的数据都长短构造化数据，如不雅按占据空间来算，这个比例大年夜体不假，毕竟音视泼魅这类数据真地很大年夜。有这么大年夜的数据量，须要进行分析是很天然的事了，而要分析当然就要有响应的技巧手段了。

那为什么说非构造化数据分析技巧是忽悠呢?

不存在通用的非构造化数据计算技巧

非构造化数据八门五花，有声音图像、文本网页、办公函档、设备日记、….;每类数据的都有各自的计算处理手段，比如语音辨认、图像比对、文本搜刮、图构造计算等等，然则并不存在一种实用于所有非构造化数据的通用计算技巧。语音识其余办法不克不及用于图像比对、文本搜刮和图构造计算也扯不上关系。

一个厂商如不雅善于某种技巧，那必定会直接传播鼓吹本身专业于该范畴，而不会泛泛地说本身精于非构造化数据分析。比如人脸辨认做得异常精准、或是文本敏感词发掘的专业公司，显然如许更轻易定位用户和应用处景。如不雅一家公司只说本身善于非构造化数据分析而不指明具体的范畴，那就不知道到底能做些什么了。

面向非构造化数据的通用技巧只是存储

不过，如不雅不是数据量特别大年夜，或者有高并发的检索需求，大年夜多半的收集文件体系(如HDFS)已经可以或许胜任存储和拜访需求。厂家如不雅只喊能做非构造化数据的存储和根本治理，那会显得没什么技巧含量。所以这些厂商会竭尽全力地往分析上靠，但没有本质器械。而能供给安闲量高机能的拜访的专业存储厂商却只会喊存储，而不会克意说起分析。

通用分析技巧在于相伴产生的构造化数据

采集非构造化数据的同时，经常会伴跟着采集很多相干的构造化数据，比如音视频的制造人、制造时光、所属类别、时长、…;有些非构造化数据经由处理后也会改变成构造化数据，比如网页日记中拆解出拜访人IP、拜访时刻、关键搜刮词等。所谓的非构造化数据分析，经常实际上是针对这些伴生而出的构造化数据，这个范畴有不少较为成熟的通用计算技巧(比如关系代数和关系数据库)。

但如今只喊构造化数据显得不敷时髦，为了吸引用户，就要把本质上的构造化数据分析说成长短构造化数据分析了。

作为需求方的用户，这时刻须要清跋扈地知道到底要对这些数据做什么处理。如不雅只是简单存储，那上个HDFS这类开源收集文件体系就够了;如不雅有高机能拜访需求，那要找专业的存储厂商;如不雅其实要分析的是伴生出来的构造化数据，那就是已经熟悉的数据库类营业了;如不雅真有特定的处篮孟耋，那也是找专门范畴的厂商和技巧。总之，不要泛泛地只说须要非构造化数据分析。

【义务编辑：刘晶晶 TEL：（010）68476606】

　　推荐阅读

　　我对Flexbox布局模式的理解

Flexbox，一种CSS3的构造模式，也叫做弹性盒子模型，用来为盒装模型供给最大年夜的灵活性。起首举一个栗子，之前我们是如许实现一个div盒子程度垂直居中的。在知道对象高宽的情况下，对居>>>详细阅读

本文标题：第2期：非结构化数据分析技术是忽悠

地址：http://www.17bianji.com/lsqh/35394.html

 1/2    1