企业级的爬虫中间的扶植难度蛮大年夜，因为不仅仅是须要爬虫，还须要建立网址和应用常识库，须要基于网也文本进行中文分词，倒排序及文本发掘等，这一套下来，挑衅很大年夜，当前已经有不少开源组件了，比如solr、lucent、Nutch、ES等等，但要用好它，路漫漫其修远兮。

还有一个就是，如不雅有可能，笔者建议将数据采集平台进级为数据交换平台，因为其实企业内有大年夜量的数据流动，不仅仅是单向的数据采集，并且有很多半据交换，比如须要大年夜ORACLE倒数据到GBASE，大年夜HBASE倒数据到ASTER等等，对于应用来讲，这个价值很大年夜。

既然数据采集和数据交换有很多功能异常类似，为什么不做整合呢？也便于同一治理，感到企业的数据交换大年夜量都是应用驱动，接口治理混乱无章，这也是我的一个建议。

总得来讲，扶植大年夜数据采集平台异常不易，大年夜客户的角度讲，至少要达到以下三个请求：

多样化数据采集才能：支撑对表、文件、消息等多种数据的及时增量数据采集（应用flume、消息队列、OGG等技巧）和批量数据分布式采集等才能（SQOOP、FTP VOER HDFS），比基于传统ETL机能有量级上的晋升，这是根本。

可视化快速设备才能：供给图形化的开辟和保护界面，支撑图形化拖拽式开辟，免代码编写，降低采集难度，每设备一个数据接口耗时很短，以降低人工成本。

爬虫当前也逐渐成为很多企业的采集标配，因为互联网新增数据重要靠它，可以经由过程网页的解析获取大年夜量的上彀信息，什么竽暌惯情分析、网站排名啥的，建议每个企业都应当建立企业级的爬虫中间，如不雅它未在你的大年夜数据平台筹划内，可以推敲一下，能拿的数据都不拿，就没什么好说了。

　　推荐阅读

　　百G当关、以策万全 安博通发布单盒100G可视化深度安全网关

【51CTO.com原创稿件】众所周知，防火墙是各类收集界线的安然控制点与检测点，作为关卡守护着收集中的关键通道，其本质感化在于：做好收集拜访控制，缩小进击面与进步进击门槛。安然事宜频>>>详细阅读

本文标题：为什么选择这样的大数据平台架构？

地址：http://www.17bianji.com/lsqh/35837.html

 1/2    1