作家
登录

Hadoop技术之Hadoop HA机制学习

作者: 来源: 2017-10-24 09:09:09 阅读 我要评论

  • ActiveNN JVM奔溃:ANN上HealthMonitor状况上报会有连接超时异常,HealthMonitor会触发状况迁徙至SERVICE_NOT_RESPONDING, 然后ANN上的ZKFC会退出选举,SNN上的ZKFC会获得Active Lock, 作响应隔离后成为Active结点。
  • ActiveNN JVM冻结:这个是JVM没奔溃,但也无法响应,同奔溃一样,会触发主动切换。
  • ActiveNN 机械宕机:此时ActiveStandbyElector会掉去同ZK的心跳,会话超时,SNN上的ZKFC会通知ZK删除ANN的晃荡锁,作响应隔离后完成主备切换。
  • ActiveNN 健康状况异常: 此时HealthMonitor会收到一个HealthCheckFailedException,并触发主动切换。
  • Active ZKFC奔溃:固然ZKFC是一个自力的过程,但因设计简单也轻易出问题,一旦ZKFC过程挂掉落,固然此时NameNode是OK的,但体系也认为须要切换,此时SNN会发一个请求到ANN请求ANN放弃主结点地位,ANN收到请求后,会触发完成主动切换。
  • ZooKeeper奔溃:如不雅ZK奔溃了,主备NN上的ZKFC都邑感知断连,此时主备NN会进入一个NeutralMode模式,同时不改变主备NN的状况,持续发患咀用,只不过此时,如不雅ANN也故障了,那集群无法发挥Failover, 也就弗采取了,所以对于此种场景,ZK一般是不许可挂掉落到多台,至少要有N/2+1台保持办事才算是安然的。
  • 五、总结

    膳绫擎介绍了下关于HadoopHA机制,归纳起来主如果两块:元数据同步和主备选举。元数据同步依附于QJM共享存储,主备选举依附于ZKFC和Zookeeper。全部过程照样比较复杂的,如不雅能懂得Paxos协定,那也能更好的懂得这个。欲望这篇文┞仿能让大年夜家更深刻懂得关于HA方面的常识。

    【编辑推荐】

    1. 分布式数据库和Hadoop都不敷好,于是我们设计分布式SQL计算体系
    2. 基于Hadoop大年夜数据分析应用处景与拭魅战
    3. 关于Hadoop你须要知道的一些事项
    4. 干货 | 98道常见Hadoop面试题及谜调剂析(一)
    5. 10道Hadoop面试真题及解题思路
    【义务编辑:庞桂玉 TEL:(010)68476606】

      推荐阅读

      基于大数据的政府环境决策能力建设

    沙龙晃荡 | 去哪儿、陌陌、ThoughtWorks在主动化运维中的实践!10.28不见不散! 作为数据的大年夜数据,是信息化、数字化、智能化技巧的应用,具有“4V”特点,亦即海量的数据范>>>详细阅读


    本文标题:Hadoop技术之Hadoop HA机制学习

    地址:http://www.17bianji.com/lsqh/38095.html

    关键词: 探索发现

    乐购科技部分新闻及文章转载自互联网,供读者交流和学习,若有涉及作者版权等问题请及时与我们联系,以便更正、删除或按规定办理。感谢所有提供资讯的网站,欢迎各类媒体与乐购科技进行文章共享合作。

    网友点评
    自媒体专栏

    评论

    热度

    精彩导读
    栏目ID=71的表不存在(操作类型=0)