作家
登录

日均采集1200亿数据点,腾讯千亿级服务器监控数据存储实践

作者: 来源: 2017-08-14 10:42:23 阅读 我要评论

基于上述设计和优化后, TMP 监控数据存储筹划比直接应用 Opentsdb 存储机能进步了 3~5 倍,8 台 RegionServer 峰值写入速度可达 400w/s ,Opentsdb 则到 70w/s 的时刻全部 Hbase 集群就已经无法正常工作了。

Hbase 中的数据会按 rowkey 所处范围分布在各个 Region 中,新建表的时刻只有一个 Region,并跟着 Region 变大年夜开端决裂。这在过程中会消费大年夜量在收集、磁盘 IO 等资本,对集群会有较大年夜机能影响。

今朝此套基于 Hbase 的监控数据存储体系已经上线供给办事,后续筹划在入库 Hbase 之前参加缓冲层进行列的预 Compaction,可进一步成倍晋升整体机能。

【编辑推荐】

  1. 加快构造超融合信维推真正为HCI设计的办事器
  2. 无办事计算就不须要办事器吗?
  3. 机房监控经常出现告警,很可能是蓄电池膨胀了!
  4. 若何应用SIOC存储策略优化负载机能?
  5. 办事器选型必看 2017年今朝为止最酷的10款办事器
【义务编辑:武晓燕 TEL:(010)68476606】

  推荐阅读

  如何使用SIOC存储策略优化负载性能?

存储瓶颈会对存储延迟和虚拟机机能表示造成严重影响,是以治理员应当控制若何应用SIOC存储策略解决这种存储资>>>详细阅读


本文标题:日均采集1200亿数据点,腾讯千亿级服务器监控数据存储实践

地址:http://www.17bianji.com/lsqh/36675.html

关键词: 探索发现

乐购科技部分新闻及文章转载自互联网,供读者交流和学习,若有涉及作者版权等问题请及时与我们联系,以便更正、删除或按规定办理。感谢所有提供资讯的网站,欢迎各类媒体与乐购科技进行文章共享合作。

网友点评
自媒体专栏

评论

热度

精彩导读
栏目ID=71的表不存在(操作类型=0)