作家
登录

为什么选择这样的大数据平台架构?

作者: 来源: 2017-06-20 14:02:21 阅读 我要评论

4、数据开放层,也处在一个战国时代。

有些工程师直接将HIVE作为萌芽输出,固然不合理,也表现出计算和萌芽对于技巧才能请求完全不合,即使是萌芽范畴,也须要根据不合的场景,选择不合的技巧。

HBASE很好用,基于列存储,萌芽速度毫秒级,对于一般的百亿级的记录萌芽那也是才能杠杠的,具有必定的高可用性,我们临盆上的详单萌芽、指标库萌芽都是很好的应用处景。但攫取数据方面只支撑经由过程key或者key范围攫取,是以要设计好rowkey。

技巧最终为营业办事,没须要必定要寻求先辈性,付啦皿业应根据本身的实际情况去选择本身的技巧路径。

Redis是K-V数据库,读写速度比HBASE更快,大年夜多时刻,HBASE能做的,Redis也能做,但Redis是基于内存的,重要用在key-value 的内存缓存,有损掉数据的可能,当前标签及时萌芽会用到它,合作过的互联网或告白公司大年夜多采取该技巧,但如不雅数据越来越大年夜,那么,HBASE估计就是独一的选择了?

别的已经基于IMPALA供给互联网日记的及时在线萌芽应用,也在测验测验安营销平台采取SQLFire和GemFire实现分布式的基于内存的SQL接洽关系分析,固然速度可以,但也是BUG多多,惹人和改革的价值较大年夜。

Kylin当前算是基于hadoop/SPARK的多维分析的杀手级对象,应用的场景异常多,欲望有机会应用。


  推荐阅读

  百G当关、以策万全 安博通发布单盒100G可视化深度安全网关

【51CTO.com原创稿件】众所周知,防火墙是各类收集界线的安然控制点与检测点,作为关卡守护着收集中的关键通道,其本质感化在于:做好收集拜访控制,缩小进击面与进步进击门槛。安然事宜频>>>详细阅读


本文标题:为什么选择这样的大数据平台架构?

地址:http://www.17bianji.com/lsqh/35837.html

关键词: 探索发现

乐购科技部分新闻及文章转载自互联网,供读者交流和学习,若有涉及作者版权等问题请及时与我们联系,以便更正、删除或按规定办理。感谢所有提供资讯的网站,欢迎各类媒体与乐购科技进行文章共享合作。

网友点评
自媒体专栏

评论

热度

精彩导读
栏目ID=71的表不存在(操作类型=0)