基于上述设计和优化后, TMP 监控数据存储筹划比直接应用 Opentsdb 存储机能进步了 3~5 倍,8 台 RegionServer 峰值写入速度可达 400w/s ,Opentsdb 则到 70w/s 的时刻全部 Hbase 集群就已经无法正常工作了。
Hbase 中的数据会按 rowkey 所处范围分布在各个 Region 中,新建表的时刻只有一个 Region,并跟着 Region 变大年夜开端决裂。这在过程中会消费大年夜量在收集、磁盘 IO 等资本,对集群会有较大年夜机能影响。
今朝此套基于 Hbase 的监控数据存储体系已经上线供给办事,后续筹划在入库 Hbase 之前参加缓冲层进行列的预 Compaction,可进一步成倍晋升整体机能。
【编辑推荐】
- 加快构造超融合信维推真正为HCI设计的办事器
- 无办事计算就不须要办事器吗?
- 机房监控经常出现告警,很可能是蓄电池膨胀了!
- 若何应用SIOC存储策略优化负载机能?
- 办事器选型必看 2017年今朝为止最酷的10款办事器
推荐阅读
存储瓶颈会对存储延迟和虚拟机机能表示造成严重影响,是以治理员应当控制若何应用SIOC存储策略解决这种存储资>>>详细阅读
本文标题:日均采集1200亿数据点,腾讯千亿级服务器监控数据存储实践
地址:http://www.17bianji.com/lsqh/36675.html
1/2 1