作家
登录

下一代云存储系统技术白皮书

作者: 来源: 2017-11-01 10:54:25 阅读 我要评论

SSD鄙人一代云存储体系中的应用有两种不合的方法,均能晋升机能,一是作为读写缓存,二是作为数据盘直接存储数据。

在第一种情况下,下一代云存储体系采取缓存算法对热点数据进行优化,使热点数据尽可能驻留在高速闪存存储上,以晋升体系机能;而对于拜访不频繁的数据则大年夜高速存储中迁徙到低速机械磁盘做持久化存储。这种方法对于大年夜量攫取场景下的营业体系具有较大年夜的晋升;或者将高速存储设备作为全局缓存,数据先写入高速存储中,在恰当的机会再将数据同步入后端存储中,这种方法同样可以在知足机能请求的前提下明显降低存储成本。

图 3-1 下一代云存储体系的多级缓存

面对对机能有强烈需求的营业场景,第二种全闪存模式可以或许大年夜幅度加强对各类高请求负载的治理,个中包含营业关键型应用、核心营业体系等等。这种情况下,可以充分发挥闪存存储的高机能读写,然则成本较高。

3.2高靠得住性

3.2.1数据多副本存储

下一代云存储体系采取多副本备份机制调换传统的RAID模式来包管核心数据的完全性。同一个数据,在体系的不合节点的不合磁盘上会有大年夜于等于三个副本的存储,如许,当节点或者磁盘产生故障的时刻,数据可以大年夜冗余的副本中攫取并恢复。同时所有的数据平均的分布在所有的节点上以达到负载均衡的效不雅,避免局部热点的出现。鄙人一代云存储体系具体安排时,所有的副本采取跨机架同步分布策略,确保单一机架掉落电后的数据可用性。

3.2.2保持数据一致

3.2.3办事质量包管(QoS)

无论任何行业,营业的持续性与高质量是主流需求,下一代云存储体系供给了多种场景下的办事质量包管手段:

1、供给面向卷级的办事器拜访QoS,充分避免非关键应用占用过多带宽;

2、在数据较长时光处于不一致的状况时,主动触发数据重建,在此过程中支撑QoS,包管重建过程中占用过多带宽,避免影响症毕营业的稳定运行。

3.2.4副本安然界线

范围宏大年夜的分布式体系,必须推敲多故障的安然隐患,以统计学的规律和概率分布来看,磁盘数量越多,磁盘产生故障的概率越大年夜,甚至几钢磁盘同时产生故障。赓续的故障会造成体系大年夜部分资本都用于数据重建,影响营业的稳定运行。是以,下一代云存储体系中,为包管体系达到预期的靠得住性目标,必须在包管高并发的前提下,尽量缩小副本分布的磁盘范围,即设定安然界线,以防止数据损掉的风险陡然上升。

副本安然界线有两种模式,一是基于池级的安然界线治理,设定存储藏最大年夜跨越的磁盘数量;二是基于卷级的安然界线治理,即设定虚拟卷最大年夜跨越的磁盘数量。

3.3可扩大性

3.5.2卷级快照和链接克隆

下一代云存储体系支撑大年夜范围扩大,最低三节点,直至上千节点,跟着存储设备数量的增长,全部体系的吞吐量和IOPS等机能指标也同时会随之增长。并且容量和机能呈线性扩大。一旦需求有所变更,即可经由过程模块化的方法添加更多的存储资本和计算资本。在扩容和缩容的过程中心,分布式算法包管了数据的负载均衡,结合主动的QoS策略,在用户无感知的情况下,包管不会与现有营业产生影响,保障体系的稳定运行。

图 3-2下一代云存储体系的横向扩大

3.4易治理性

3.4.2虚拟化和私有云应用支撑

3.4.1兼容第三方治理监控接口

业界主流Web治理界面重要包含SOAP和REST标准,个中后者架构更为简便,新生体系多采取后者。VMware体系至今仍以SOAP标准为主,而面向OpenStack的接口则遵守REST标准。下一代云存储体系所供给的接口可以或许兼容这两种标准。

下一代云存储体系支撑主流操作体系,可以安排在RedHat、SUSE、CentOS以及Ubuntu上。虚拟化平台则支撑VMware、Hyper-V以及KVM等。支撑经由过程RESTful API标准接口与OpenStack 的Cinder组件和SWFIT组件进行交互,向私有云应用供给存储支撑。

基于分布式架构的软件定义存储体系采取分布式算法(例如CRUSH、DHT等)将数据趋近于随机的分散于集群中的所有磁盘中,避免了数据存储热点的产生。数据的存放经由过程多副本供给高可用性,每个副本分散于不合的办事器上,并且根据营业需求可以或许遵守强一致性。单个硬盘或节点的故障不影响营业的持续性,一旦产生故障,体系会主动重建。

3.5高等功能

3.5.1主动精简设备

下一代云存储体系支撑主动精简设备功能,在创建逻辑卷时,并不真拭魅占用现什物理资本,而是在逻辑卷应用过程中,按需及时分派现什物理空间资本,节约了存储资本,简化了存储筹划难度。在存储体系的应用过程中,租户在资本申请阶段往往无法精确预估安营业广泛展开后的具体需求,因而会多申请部分的存储空间作为缓冲,而这部分资本往往无法做到物尽其用,存在了大年夜量的浪费现象。在实际应用中,可以设置容量阈值,当残剩存储容量低于阈值瓯,进行提示。

图 3-3 下一代云存储精简设备

下一代云存储体系供给卷级的快照功能,进行增量备份,并能根据须要快速恢复到每一个备份点,对营业中断后供给快速的恢复功能包管,加强体系整体的持续性,供给了营业质量包管的手段与办法。

同时此体系还支撑链接克隆的机制,基于一个快照创建出多个克隆卷,创建出来的克隆卷与原始卷中的数据内容一致,克隆卷的修改不会影响原始卷,用户既可以经由过程快照来还原卷以恢复损掉的数据,也可以大年夜快照来创建模板,直接启动新的虚拟机以包管营业的持续性。


  推荐阅读

  论弹性技术在数据中心里的表现

2017年架构师最重要的48个小时 | 8折倒计时 近几年,弹性在数据中间,尤其是收集范呈攀里是高频出现的词语,弹>>>详细阅读


本文标题:下一代云存储系统技术白皮书

地址:http://www.17bianji.com/lsqh/38339.html

关键词: 探索发现

乐购科技部分新闻及文章转载自互联网,供读者交流和学习,若有涉及作者版权等问题请及时与我们联系,以便更正、删除或按规定办理。感谢所有提供资讯的网站,欢迎各类媒体与乐购科技进行文章共享合作。

网友点评
自媒体专栏

评论

热度

精彩导读
栏目ID=71的表不存在(操作类型=0)