作家
登录

海量非结构数据存储技术路线选型:对象存储与块存储、文件存储等对比

作者: 来源: 2017-12-15 10:23:16 阅读 我要评论

开辟者大年夜赛路演 | 12月16日,技巧立异,北京不见不散


对象存储是无层次构造的数据存储办法,平日用于云中。不合于其他数据存储办法,基于对象的存储不应用目次树。各个零丁的数据(对象)单位存在于存储藏中的同一级别。每个对象都有独一的辨认号称,供给用进行检索。

1、块存储、文件存储、对象存储几种方法的比较?

块存储指在一个RAID(自力磁盘冗余阵列)集中,一个控制器参加一组磁盘驱动器,然后供给固定大年夜小的RAID块作为LUN(逻辑单位号)的卷。

接着块存储会采取映射的方法将这几个逻辑盘映射给主机,主机膳绫擎的操作体系会辨认到有5块硬盘,然则操作体系是区分不出到底是逻辑照样物理的,它一概就认为只是5块裸的物理硬盘罢了,跟直接拿一块物理硬盘挂载到操作体系没有区其余,至少操作体系感知膳绫腔有差别。

传统存储在面对海量非构造化数据时,在存储、分享与容灾膳绫擎对很大年夜的挑衅,重要表示在以下几个方面:传统存储并非为非构造化内容设计或优化、成本过高、并非PB级的扩大、不支撑永远在线、专有的一体机设备等等,非构造化数据以每年60%~80%的速度增长,大年夜而可扩大性变成了最急切的需求。

此种方法下,操作体系还须要对挂载的裸硬盘进行分区、格局化后,才能应用,与平常主机内置硬盘的方法完全无异。

长处:

2、对象存储Cleversafe与Ceph的比较优势?

1、 这种方法的好处当然是因为经由过程了Raid与LVM等手段,对数据供给了保护。

2、 别的也可以将多块便宜的硬盘组合起来,成为一个安闲量的逻辑盘对外供给办事,进步了容量。

3、 写入数据的时刻,因为是多块磁盘组合出来的逻辑盘,所以几块磁盘可以并行写入的,晋升了读写效力。

4、 很多时刻块存储采取SAN架构组网,传输速度以及封装协定的原因,使得传输速度与读写速度获得晋升。

缺点:

1、采取SAN架构组网时,须要额外为主机购买光纤通道卡,还要买光纤交换机,造价成本高。

2、主机之间的数据无法共享,在办事器不做集群的情况下,块存储裸盘映射给主机,再格局化应用后,对于主机来说相当于本地盘,那么主机A的本地盘根本不克不及给主机B去应用,无法共享数据。

3、晦气于不合操作体系主机间的数据共享:别的一个原因是因为操作体系应用不呵9依υ?件体系,格局化完之后,不合文件体系间的数据是共享不了的。例如一台装了WIN7/XP,文件体系是FAT32/NTFS,而Linux是EXT4,EXT4是无法辨认NTFS的文件体系的。就像一只NTFS格局的U盘,插进Linux的标记本,根本无法辨认出来。所以晦气于文件共享。

文件存储:为了克服块存储文件无法共享的问题,所以有了文件存储。文件存储也有软硬一体化的设备,然则其实通俗拿一台办事器/标记本,只要装上合适的操作体系与软件,就可以架设FTP与NFS办事了,架上该类办事之后的办事器,就是文件存储的一种了。

主机A可以直接对文件存储进行文件的上传下载,与块存储不合,主机A是不须要再对文件存储进行格局化的,因为文件治理功能已经由文件存储本身搞定了。

长处:

1、造价交低:随便一台机械就可以了,别的通俗以太网就可以,根本不须要专用的SAN收集,所以造价低。

2、便利文件共享:例如主机A(WIN7,NTFS文件体系),主机B(Linux,EXT4文件体系),想互拷一部片子,本来不可。加了个主机C(NFS办事器),然后可以先A拷到C,再C拷到B就OK了。

缺点:

读写速度低,传输速度慢:以太网,上传下载速度较慢,别的所有读写都要1台办事器琅绫擎的硬盘来承担,比拟起磁盘阵列动不动就几十上百块硬盘同时读写,速度慢了很多。

企业级的NAS存储采取RAID技巧晋升了数据的靠得住性和读写速度,同时采取万兆光纤接口晋升了收集传输速度,合适于中小范围的病院用于PACS体系非构造化数据的存取,当数据量达到PB级别时NAS机头会出现瓶颈。下图是块存储与文件存储的比较图:

对象存储:内置安闲量硬盘的分布式办事器是对象存储的典范设备,对象存储最常用的筹划,就是多台办事器内置安闲量硬盘,再装上对象存储软件,然后再额外设备几台办事作为治理节点,安装上对象存储治理软件。治理节点可以治理其他办事器对外供给读写拜访功能。

之所以出现了对象存储这种器械,是为了克服块存储与文件存储各自的缺点,发扬它俩各自的长处。简单来说块存储读写快,晦气于共享,文件存储读写慢,利于共享。可否实现即读写快又利 于共享的目标呢?于是就有了对象存储。

起首,一个文件包含了属性(术语叫metadata,元数据,例如该文件的大年夜小、修改时光、存储路径等)以及内容(以下简称数据)。

以往像FAT32这种文件体系,是直接将一份文件的数据与metadata一路存储的,存储过程先将文件按照文件体系的最小块大年夜小来打散(如4M的文件,假设文件体系请求一个块4K,那么就将文件打散成为1000个小块),再写进硬盘琅绫擎,过程中没有区分数据/metadata的。而每个块最后会告诉你下一?要攫取的块的地址,然后一向如许次序地按图索骥,最后完成整份文件的所有块的攫取。

这种情况下读写速度很慢,因为就算你有100个机械手臂在读写,然则因为你只有攫取到第一个块,才能知道下一?块在哪里,其实相当于只能有1个机械手臂在实际工作。

而对象存储则将元数据自力了出来,控制节点叫元数据办事器(办事器+对象存储治理软件),琅绫擎重要负粜ユ储对象的属性(主如果对象的数据被打散存放到了那几台分布式办事器中的信息),而其他负粜ユ储数据的分布式办事器叫做OSD,重要负粜ユ储文件的数据部分。当用户拜访对象,会先拜访元数据办事器,元数据办事器只负责反馈对象存储在哪些OSD,假设反馈文件A存储在B、C、D三台OSD,那么竽暌姑户就会再次直接拜访3台OSD办事器去攫取数据。


  推荐阅读

  成为Linux终端高手的七种武器

开辟者大年夜赛路演 | 12月16日,技巧立异,北京不见不散 Linux 终端不仅是一个键入敕令的处所。如若你能熟谙这些基本技能,那么你会在绝大年夜多半 Linux 发行版的默认应用的 Bash shell中>>>详细阅读


本文标题:海量非结构数据存储技术路线选型:对象存储与块存储、文件存储等对比

地址:http://www.17bianji.com/lsqh/39793.html

关键词: 探索发现

乐购科技部分新闻及文章转载自互联网,供读者交流和学习,若有涉及作者版权等问题请及时与我们联系,以便更正、删除或按规定办理。感谢所有提供资讯的网站,欢迎各类媒体与乐购科技进行文章共享合作。

网友点评
自媒体专栏

评论

热度

精彩导读
栏目ID=71的表不存在(操作类型=0)