Hbase写操作产生的木桶效应

有时刻很多利旧设备不舍得丢弃，大年夜数据集群又是一个便宜的高机能的分布式寂?娼台，只如果能开机的物理机都可以并入集群，然则，随之带来的问题就是磁盘IO会严重影响集群的机能，不过如今经由过程技巧手段已经可以或许解决词攀类问题，比较常用的方法就是：设备分组。

开辟者大年夜赛路演 | 12月16日，技巧立异，北京不见不散

临盆情况中hbase的写存在木桶效应，具体表如今hbase写入数据迟缓，在参数优化极好的情况下，仍然没有解决问题。经由多次的排查，产生问题的原因有2个：

1.收集问题

某个节点的网卡出现不明显故障，造成该节点网速传输速度降低。

2.异构设备磁盘硬件I/O

那么hbase为什么会出现木桶效应呢？起首我们都知道往hbase写入数据的时刻，是先写入WAL的，写入成功后再写入memstore。

本来在Table创建的时刻，有一个参数可以设置，是否每次写Log日记都须要往集群里的其他机械同步一次，默认是每次都同步，同步的方法有2种：Pipeline，n-Way Writes。

题外话：

Pipeline是指datanode吸法术据后，再传给别的一台datanode，是一种串行的方法；

n-Way Writes是指多datanode同时吸法术据，最慢的一台停止就是全部停止

差别在于一个延迟大年夜，一个并发高。

那么大年夜2个同步方法中可以看出，如不雅在同步时，个中某个节点的机能出现问题，大年夜而会导致全部集群出现严重的写延迟，这就是木桶效应的重要原因。

hbase的日记有.logs和.oldlogs。.logs保存的是所有Regionserver上当前在写入的HLog，.oldlogs是过时日记，经由过程hbase.master.logcleaner.ttl参数可以设置按期清理这个过时日记，默认是10分钟

【编辑推荐】

【义务编辑：武晓燕 TEL：（010）68476606】

　　推荐阅读

　　如果企业的公共云被攻击，该怎么办?

开辟者大年夜赛路演 | 12月16日，技巧立异，北京不见不散 2.接洽企业的云计算办事供给商 - 他们将遵守合作协定，这将供给更多的赞助，个中包含主动关机法度榜样。公共云被黑客进击破解，重>>>详细阅读

地址：http://www.17bianji.com/lsqh/39605.html