作家
登录

下一代云存储系统技术白皮书

作者: 来源: 2017-11-01 10:54:25 阅读 我要评论

图 2-2 软件定义存储体系层级示意图

1.硬件设备层

基于分布式架构的软件定义存储体系通基于标准的X86办事器,配以不合的磁盘介质,包含传统的机械磁盘HDD、SATA-SSD以及PCIE-SSD等,来供给不合等级的IOPS和带宽等办事机能,同时10GE网卡的广泛应用也让体系在传输和重建过程中具有更快的速度。

2.驱动引擎层

3.特点功能层

基于分布式架构的软件定义存储体系可以或许实现精简设备,即支撑提前划分存储卷的大年夜小,然则加分派时按照数据写入的范围主动增长,节俭可用存储空间。在卷级层面可以实现及时QoS,调剂附加在卷上的限制属性,同时为了营业的须要,体系也支撑在线扩容和缩容,包管其他卷可以或许获取足够的空间。除此之外,还有快照、容灾、备份等功能。

4.办事接口层

基于分布式的软件定义存储体系可以或许供给多样化的存储办事,支撑基于开放Linux平台的SCSI设备输出,支撑iSCSI接口协定,支撑FC接口协定和基于FC的硬件。

5.运维治理层

基于分布式架构的软件定义存储体系可以或许经由过程向用户供给可视化交互界面来完成体系的主动化设备、在线进级、告警、监控和日记等功能。包含体系日记和操作日记。体系日记记录重要的体系事宜,操作日记记录操作员行动,便于排错、审计以及跟踪。

2.2.2轻量化异构存储同一治理组件

轻量化异构存储同一治理组件基于Openstack Cinder组件,实现了对后端存储资本的同一治理,来供给营业驱动、主动化的数据办事。轻量化异构存储同一治理组件将应用与底层存储解耦,解除设备厂商的绑定,打奇怪构存储设备之间的壁垒,将存储功能应用化,支撑文件、块、对象等类型存储资本分派办事。

在云计算应用处景下,大年夜租户的角度看来,将不合架构的存储封装起来,无论是传统的集中式存储照样分布式存储都进行同一治理并向上供给办事。

图 2-3轻量化异构存储同一治理组件架构示意图

轻量化异构存储同一治理组件向下可以将各设备中可供给雷同才能的存储资本集合起来,进行同一治理。这一功能基于Openstack的Cinder组件,经由过程不合存储厂商供给的面向OpenStack的Cinder的驱动来获取不合存储设备的根本信息,包含磁盘类型、空间大年夜小、办事才能等。在获取不合的存储设备信息之后,将机能、办事邻近的存储设备进行编排、分组,以供后续应用。

轻量化异构存储同一治理组件可以实现营业安排主动化、运维监控智能化。个中,营业安排主动化是指支撑运维人员编辑保存办事模板,目标是为了简化创建调用存储的流程。在申请存储资本的过程中,仅须要输入存储容量和卷的数量即可完成资本的申请,同一治理组件会根据事先编排好的模板主动调用不合模块来完成具体工作。同时该组件也支撑运维监控的智能化,即针对不合的存储藏,不合的虚拟卷,都可以或许及时`控机能与故障,对存储卷进行有效性、空间、数据可用性等方面进行的监控治理;支撑在存储体系的各级软硬件产生故障时,由控制台向治理员告警提示;支撑卷级的QoS编排,包管不合租户之间的办事质量。

轻量化异构存储同一治理组件北向经由过程REST接口与虚拟化平台或者容器云平台完成兼容,实现存储资本办事的同一发放。OpenStack的不合组件如Cinder、Nova等与异构存储治理组件,完成就的划分与挂载,实现云硬盘的分派或者虚拟机实例创建在云硬盘中;Kubernets中Persist Volume 存储体系则经由过程Cinder供给的插件,实现应用和办事的状况保存。

3.1高机能

下一代云存储体系基于主流的开源分布式存储技巧以及开源云平台中的存储治理模块,充分知足国内企业自立可控的请求。下一代云存储体系可以或许胜任高并发、高效力的需求,与主流NVMe闪存相结合,冲破单点机能瓶颈,适应多种场景需求。

3.1.1 I/O并行晋升机能

下一代云存储体系供给了类似于条带化技巧的并行I/O功能,知足支撑营业开展的高机能需求。自力存储设备的吞吐量限制,极大年夜影响了存储的机能和伸缩性,所以存储系同一般都支撑把持续的信息分片存储于多个设备以增长吞吐量和机能。鄙人一代云存储体系中,数据会平均分布到存储藏中所有的硬盘上。当某台应用办事器进行读写时,集群中所有的节点都邑对其供给办事,如许能很好地包管IO并发。

3.1.2闪存的应用与分级存储

下一代云存储体系支撑各类接口闪存介质,经由过程闪存介质的应用,来供给高机能的IO。当前闪存存储开端进入开端逐渐进入数据中间市场,如表3-1所示,闪存比拟HHD具有如下差别:

表 3-1 闪存与HDD特点比较

下一代云存储体系支撑强一致性和最终一致性两种模型,面向不合的营业场景需求。包管租户成功写入一份数据时,几个副本都保持一致,在攫取数据时,无论大年夜任何一个副本长进行,都可以或许包管取到最新的、可用的数据。强一致性格况下,包管对副本的读写操作会产生交集,大年夜而包管可以攫取到最新版本;无论更新操作实袈溱哪一个副本履行,之后所有的读操作都要能获得最新的数据。最终一致性格况下,包管用户最终可以或许攫取到某操尴尬刁难体系特定命据的更新,针对的是读写都比较频繁的场景,是一个比较折中的策略。

软件定义存储体系分为硬件设备层、引擎驱动层、特点功能层、办事接口层以及监控治理层五个层面,具体的功能架构图如下所示:

固态闪存SSD作为新的存储技巧,比拟HDD具有超快的数据拜访速度,随机数据拜访速度比HDD快100多倍,响应时光大年夜毫秒级缩短到亚毫秒级(0.1ms),将IOPS大年夜HDD的200-300晋升至数万。SSD的高机能充分知足了存储体系I/O负荷瓶颈带来的困扰。


  推荐阅读

  论弹性技术在数据中心里的表现

2017年架构师最重要的48个小时 | 8折倒计时 近几年,弹性在数据中间,尤其是收集范呈攀里是高频出现的词语,弹>>>详细阅读


本文标题:下一代云存储系统技术白皮书

地址:http://www.17bianji.com/lsqh/38339.html

关键词: 探索发现

乐购科技部分新闻及文章转载自互联网,供读者交流和学习,若有涉及作者版权等问题请及时与我们联系,以便更正、删除或按规定办理。感谢所有提供资讯的网站,欢迎各类媒体与乐购科技进行文章共享合作。

网友点评
自媒体专栏

评论

热度

精彩导读
栏目ID=71的表不存在(操作类型=0)