离线批量采集，采取的是HADOOP，这个已经成为当前流线采集的主流引擎了，基于这个平台，须要安排数据采集应用或对象。

诸如BAT都是本身研发的产品，一般企业，可以采取商用版本，如今这类选择很多，比如华为BDI等等，很多企业技巧实力有，但起步的时刻往往对于应用处景的懂得比较弱，细节做工很差，导致做出来的产品难以达到请求，比如缺乏统计功能等，跟BAT差距很大年夜，传统企业去采购这类产品，要谨慎当心。

一个建议是，当采购产品的时刻，除了技巧先辈性和指标外，更多的应当问问是版本啥时刻上线的，是否在哪里成功安排，是否有足够多的客户，如不雅能做个测试就更好，不然，你就是小白鼠哦，这个坑埠屯窕少。

及时采集如今也成了大年夜数据平台的标配，估计主流就是FLUME+KAFKA，然后结合流处理+内存数据库吧，这个技巧肯定靠谱，但这类开源的器械好是好，但一旦出现问题往往解决周期往往比较长。

除了用FLUME，针对ORACLE数据库的表为了实现及时采集，也可以采取OGG/DSG等技巧实现及时的日记采集，可以解决传统数据仓库抽全量表的负荷问题。

具体见下图示例，这张图是比较经典的，也是让步的结不雅，跟当前网上很多的大年夜数据架构图都可以作必定的映射。

笔者照样更存眷分布式发掘情况，SPARK是一种选择，建议可以采取SPARK+scala，毕竟SPARK是用scala写的，对很多原生的特点可以或许快速支撑。

　　推荐阅读

　　百G当关、以策万全 安博通发布单盒100G可视化深度安全网关

【51CTO.com原创稿件】众所周知，防火墙是各类收集界线的安然控制点与检测点，作为关卡守护着收集中的关键通道，其本质感化在于：做好收集拜访控制，缩小进击面与进步进击门槛。安然事宜频>>>详细阅读

本文标题：为什么选择这样的大数据平台架构？

地址：http://www.17bianji.com/lsqh/35837.html

 1/2    1