沙龙晃荡 | 去哪儿、陌陌、ThoughtWorks在主动化运维中的实践！10.28不见不散！

文┞仿的大年夜致构造：第一部分，分布式体系的根本概念;第二、三部分分别具体阐述数据存储和数据计算体系;最后一部分总结。

概念

A distributed system is>primary-secondary控制模型

主大年夜(primary-secondary )模型是一种常见的副本更新攫取模型，这种模型相对来说简单，所有的副本相关控制都由中间节点控制，数据的并发修改同样都由主节点控制，如许问题就可以简化成单机问题，极大年夜的简化体系复杂性。

注：常用的副本更新攫取架构有两种：主大年夜(primary-secondary)和去中间化(decentralized)构造，个中主大年夜构造较为常见，而去中间化构造常采取paxos、raft、vector time等协定，这里因为本人才能有限，就不再这儿论述了，有兴趣可以本身进修，迎接弥补。

个中涉及到主大年夜副本操作有以下几种：

副本更新根本流程：数据更新操作发到primary节点，由primary将数据更新操作同步到其他secondary副本，根据其他副本的同步结不雅返回客户峨锾螃。各类数据存储分布式体系的副本更新操作流程大年夜体是一样的，独一不合的是primary副本更新操作完成后响应客户端机会的不合，这与体系可用性和一致性请求密切相干。

以mysql的master slave简单颂峦宦，平日情况下，mysql的更新只须要master更新成功即可响应客户端，slave可以经由过程binlog慢慢同步，这种情况攫取slave会有必定的延迟，一致性相对较弱，然则体系的可用性有了包管;另一种slave更新策略，数据的更新操作不仅请求master更新成功，同时请求slave也要更新成功，primary和secondray数据保持同步，体系包管强一致性，但可用性相对较差，响应时光变长。

上述的例子只有两个副本，如不雅请求强一致性，所有副本都更新完成才认为更新成功，响应时光相对来说也可以接收，然则如不雅副本数更多，有没有什么办法在包管必定一致性同时知足必定的可用性呢?这时就须要推敲Quorum协定，其理论可以用一个简单的数学问题来解释：

问题的谜底是：W+R > N (有兴趣的可以思虑下)

经由过程quorum协定，在包管必定的可用性同时又包管必定的一致性的情况下，设置副本更新成功数为总副本数的一半(即N/2+1)性价比最高。(看到这儿有没有想明白为什么zookeeper server数最好为基数个?)

副本的攫取

副本的攫取策略和一致性的选择有关，如不雅须要强一致性，我们可以只大年夜primary副本攫取，如不雅须要最终一致性，可以大年夜secondary副本攫取结不雅，如不雅须要攫取最新数据，则按照quorum协定请求，攫取响应的副本数。

副本的切换

当体系中某个副本弗采取时，须要大年夜残剩的副本之中拔取一个作为primary副本来包管后续体系的┞俘常履行。这儿涉及到两个问题：

• 副本状况切实其实定以及防止brain split问题：一般办法是应用zookeeper中的sesstion以及临时节点，其基来源基本理则是lease协定和按期heartbeat。Lease协定可以简单懂得成介入两边杀青一个承诺，针对zookeeper，这个承诺就是在session有效时光内，我认为你的节点状况是活的是可用的，如不雅产生session timeout，认为副本地点的办事已经弗采取，无论误判照样办事真的宕掉落了，经由过程这种机制可以防止脑裂的产生。但如许会引起别的一个问题：当在session timeout时代，primary 副本办事挂掉落了，如许会造成一段时光内的办事弗采取。
• primary副本切实其实定：这个问题和副本攫取最新数据其实是一个问题，可以应用quoram以及全局版本号肯定primary副本。zookeeper在leader选举的过程中其实应用了quoram以及全局事务id——zxid肯定primary副本。

存储架构模型

关于数据的分布和副本的模型这些细节问题已经具体论述，那么大年夜体系整体架构来看，数据存储的一般流程和重要模块都有哪些呢?大年夜元数据存储以及节点之间的membership治理方面来看，重要分以下两类：

中间化的节点membership治理架构

这类体系重要分为三个模块：client模块，负责用户和体系内部模块的通信;master节点模块，负责元数据的存储以及节点健康状况的治理;data节点模块，用于数据的存储和数据萌芽返回。

有N个副本，个中在更新时有W个副本更新成功，那我们攫取R个副本，W、R在知足什么前提下包管我们攫取的R个副本必定有一个副本是最新数据(假设副本都有一个版本号，版本号大年夜的即为最新数据)?

数据的萌芽流程平日分两步：

1. 向master节点萌芽数据对应的节点信息;
2. 根据返回的节点信息连接对应节点，返回响应的数据。

分析一下今朝常见的数据存储体系，大年夜hdfs，hbase再到Elastic Search，经由过程与上述通用体系比较，发明：master节点模块具体对应hdfs的namenode、hbase的hMaster、Elastic Search的master节点;data节点对应hdfs的datanode、hbase的region server、Elastic Search的data node。

去中间化的节点membership治理架构

　　推荐阅读

　　这里有两个iOS弹窗，你能看出哪个是用来钓鱼的么？

沙龙晃荡 | 去哪儿、陌陌、ThoughtWorks在主动化运维中的实践！10.28不见不散！ 上周，iOS、Android 应用开辟帮助对象 Fastlane 的开创人、安然专家 Felix Krause 颁布了一篇文┞仿（链接在>>>详细阅读

本文标题：如何学习分布式系统？一文全Get！

地址：http://www.17bianji.com/lsqh/38088.html

 1/2    1