Tech Neo技巧沙龙 | 11月25号，九州云/ZStack与您一路商量云时代收集界线治理实践

微博、微信、直播等互联网应用的风靡，带来了海量的图片、音频和视频文件，这些非构造化数据的容量、文件的数量已经超出了传统NAS存储的处理才能，是以各大年夜互联网厂商根据自身特点成长出了合适营业需求的分布式存储架构，如：Google的GFS，亚马逊的AWS S3，以及FaceBook的Cassandra等等。特别是亚马逊2006年推出的AWS S3对象存储，其定义的S3接口已经逐渐成为非构造化数据存储的事实标准。

有名分析机构IDC的申报猜测，到2020年非构造化存储数据量将达到410EB，比拟2015年增长4倍，而对象存储占文件存储总容量的70%以上。申报显示，2015-2020年对象存储市场营收的年均复合增长率将达到8.7%。非构造化数据量的暴增及对象存储时代的到来，让企业用户越来越意识到对象存储技巧的重要性，基于对象存储范畴多年的实践经验，今天有幸和大年夜家分享我的一些积聚和看法。

传统NAS存储制约营业的成长

“互联网+”趋势的推动以及复荡蚯能终端的普及，非构造化数据出现出爆发性增长，如：金融营业解决的开户视频、互联网金融行业的申请材料、保险行业的理赔材料、快递行业的电子快递单、安防行业的视频监控录像等。同时，为了知足政策合规性，部分行业监管请求长时光保存以供萌芽取证。

如今，这些传统企业的IT部分正在经历着互联网公司曾经遭受的NAS无法解决的存储难题，重要表如今如下方面：NAS存储采取古狼９依υ?件体系技巧，单个文件体系容量受限，跨越容量后对IT运维将带来巨大年夜挑衅；NAS存储的目次文件体系采取B+树进行文件索引，当文件数量过多时，会严重影响拜访机能；NAS设备过维保后，因为非构造化数据范围较大年夜，在改换时须要花费大年夜量时光，且数据迁徙存在风险等等。

传统NAS存储采取文件体系技巧，单个文件体系容量广泛在几十TB级。因为IT治理人员安营业上线前无法对规范容量和目次需求做出精准评估，对于某些产生数据量较大年夜的营业体系来说，就如下图所示须要挂载多个文件体系目次，这会带来很多非增值的运维工作。

那么，相对于传统NAS文件存储而言，对象存储到底可以带来哪些颠覆性的技巧优势，接下来和大年夜家做一些简单分享。

对象存储将成为企业存储的新标准

分布式去中间架构，容量和机能扩大便利

对象存储广泛采取的是基于通用x86办事器+分布式对象存储软件的技巧架构，对象存储软件将多台办事器经由过程以太网连接，构建成一个同一的存储资本池，可动态增长或删除办事器实现容量的调剂，数据可以或许主动均衡，并且应用副本和纠删机制（类似于RAID5/6）实现数据的高靠得住和高可用性。

传统NAS过维保后，须要将过保设毕喔赡数据人工迁徙到新购买的NAS上，文件数量较多的用户须要花1到2个月时光，运维人力消费异常大年夜。而采取如下图所示的分布式架构，可以动态移除旧设备，无需人工干涉，营业也不受影响。

立异的索引技巧，真正解决海量小文件问题

海量小文件的存储是工业界和学术界公认的难题，解决问题较为关键的技巧点就是优化元数据治理，因为传统NAS采取B+树进行文件检索，当文件数量比较少的时刻，B+树根本可以被缓存，机能照样不错的。但跟着文件数量的增多，B+树占用空间异常大年夜无法被缓存时，就会涉及到机械盘操作导致机能明显降低，如不雅层级较深，仅仅索引拜访就会产生多次磁盘随机拜访操作，严重影响文件的拜访机能。

而对象存储广泛采取了分布式哈希查找算法（DHT），技巧道理如下图所示：在建立集群时，对象存储将全部存储空间划分成一个哈希环，每个磁盘负责哈希环中部分哈希分区的存储。当须要拜访一个文件时，体系经由过程“目次/桶名+文件名”的哈希计算后，萌芽DHT表即可定位到具体磁盘进行文件拜访。因为哈希环并不随文件数量的增长而增多，所以查找机能不会受到文件数量的影响。

加倍实用于多半据中间容灾场景

超安闲量单目次，知足营业生命周期存储需求

而对象存储采取扁平化的文件名独必定位方法，单个目次或者存储空间能达到数十PB甚至数百PB级，可以知足营业体系全部生命周期的存储容量需求，无需挂载目次和调剂营业体系，让IT人员加倍存眷营业价值本身。

固然AWS S3协定已成为对象存储的事实标准，其数据拜访接口相对传统文件体系拜访接口加倍简单。但因为S3接口比拟NAS供给加倍丰富的功能，包含：权限治理、租户治理、标签、外链、配额、多版本、生命周期、多半据中间策略等上百个API接口，若何充分应用好这些接口，赞助营业体系进步数据安然性、优化营业机能、优化存储治理、优化多半据中间拜访方法和存储策略等方面，可能须要有对象存储安排经验的厂商来协助。

高效的营业体系容灾筹划是企业IT部分最为存眷的核心之一。对象存储在接口方面的技巧改进，使其在多半据中间容灾方面支撑得加倍完美，大年夜部分对象存储厂商都支撑两个及以上的多半据中间容灾。传统NAS往往是主备模式的容灾，而对象存储广泛支撑Active-Active模式的容灾，可实现本地数据中间应用的就近拜访。这对于采取负载均衡模式数据中间的企业来说，是异常有价值的，可以晋升每个数据中间营业体系的拜访机能。

　　推荐阅读

　　如何在CentOS/RedHat下，实现根据源码包创建rpm包

Tech Neo技巧沙龙 | 11月25号，九州云/ZStack与您一路商量云时代收集界线治理实践 有时你可能须要获取一个开源竽暌功用的源码包，然则可能没有无法经由过程该应用的RPM文件来安装到体系。在>>>详细阅读

本文标题：NAS时代未终结，但对象存储将成为企业存储新标准

地址：http://www.17bianji.com/lsqh/39074.html

 1/2    1