作家
登录

HBase原理 – 分布式系统中Snapshot是怎么玩的?

作者: 来源: 2017-09-19 15:04:20 阅读 我要评论

2. 体系在删除archive华夏始表文件的时刻怎么知道这些文件还被一些LinkFile引用着?

HBase Split后体系要删除父region的数据文件,是起重要确认两个子region已经没有引用文件指向它了,体系怎么确认这点的呢?上节我们分析过,meta表中会存储父region对应的两个子region,再扫描两个子region的所有文件确认是否还有引用文件,如不雅已经没有引用文件了,就可以宁神地将父region的数据文件删掉落了,当然,如不雅还有引用文件存在就只能作罢。

那删除clone后的原始表文件,是不是也是一样的套路?谜底并不是,HBase用了另一种方法来根据原始表文件找到引用文件,这就是back-reference机制。HBase体系在archive目次下新建了一种新的back-reference文件,来赞助原始表文件找到引用文件。来看看back-reference文件是一种什么样的文件,它是若何根据原始文件定位到LinkFile的:

  • (1)原始文件:/hbase/data/table-x/region-x/cf/file-x
  • (2)clone生成的LinkFile:/hbase/data/table-cloned/region-y/cf/{table-x}-{region-x}-{file-x},是以可以很轻易根据LinkFile定位到原始文件
  • (3)back-reference文件:/hbase/.archive/data/table-x/region-x/cf/.links-file-x/{region-y}.{table-cloned},可以看到,back-reference文件路径中包含所有原始文件和LinkFile的信息,是以可以有效的根据原始文件/table-x/region-x/cf/file-x定位到LinkFile:/table-cloned/region-y/cf/{table-x}-{region-x}-{file-x}

到这里,有兴趣的童鞋可以将这块常识点串起来做个简单的小实验:

(1)应用snapshot给一张表做快照,比如snapshot ’table-x’,’table-x-snapshot’

(2)应用clone_snapshot克隆出一张新表,比如clone_snapshot ’table-x-snapshot’,’table-x-cloned’。并查看新表test_clone的HDFS文件目次,确认会存在LinkFile

snapshot核心实现

HBase道理 – 分布式体系中Snapshot是怎么玩的?

(3)删除原表table-x(删表之前先确认archive下没有原表文件),查看确认原表文件进入archive,并在archive中存在back-reference文件。留意瞅瞅back-reference文件格局哈。

HBase道理 – 分布式体系中Snapshot是怎么玩的?

【编辑推荐】

  1. 一文看懂HIVE和HBASE的差别
  2. 基于HBase的大年夜数据存储的应用处景分析
  3. 阿里5位嘉宾3个分享:HBaseCon Asia 2017干货满满
  4. HBase道理–所有Region切分的细节都在这里了
  5. HBASE+Solr实现详单萌芽
【义务编辑:未丽燕 TEL:(010)68476606】

(4)对表’table-x-clone’履行major_compact,敕令为major_compact ’test_clone’。履行敕令前确认table-x-clone文件目次下LinkFile存在。

(5)major_compact履行完成之后查看table-x-clone的HDFS文件目次,确认所有LinkFile已经不再存在,全部变成了真实数据文件。

HBase道理 – 分布式体系中Snapshot是怎么玩的?



  推荐阅读

  基于web创建逼真的3D图形 | CSS技巧

【沙龙】51CTO诚邀您9月23号和多位技巧大年夜咖一路聊智能CDN的优化之路,抓紧时光哦! 在成为一名web开辟者之前,我大年夜事于视觉设计行业,创造屡获殊荣,片子和电视节目等高端3D效不雅>>>详细阅读


本文标题:HBase原理 – 分布式系统中Snapshot是怎么玩的?

地址:http://www.17bianji.com/lsqh/37524.html

关键词: 探索发现

乐购科技部分新闻及文章转载自互联网,供读者交流和学习,若有涉及作者版权等问题请及时与我们联系,以便更正、删除或按规定办理。感谢所有提供资讯的网站,欢迎各类媒体与乐购科技进行文章共享合作。

网友点评
自媒体专栏

评论

热度

精彩导读
栏目ID=71的表不存在(操作类型=0)