数据仓库：过去、现在和未来

Tech Neo技巧沙龙 | 11月25号，九州云/ZStack与您一路商量云时代收集界线治理实践

我经常接触数据仓库扶植的需求，而现有的大年夜数据体系也欲望基于大年夜数据扶植数据仓库，然而Hadoop为核心成长起来的软件实用于OLAP的数据分析需求，OLTP如许的分布式数据库体系也如火如荼的成长。

在企业数据信息数据整合过程中，往往都是不合数据源放到不合的数据库体系中，没稀有据仓库的规范化扶植，跨部分进行数据协作，打破数据孤岛无法实现。

数据仓库：以前、如今和将来

分布式体系，赞助解决这些问题，我们真正深刻懂得数据价值的人都知道，扶植同一的数据中间，数据仓库，整合行业数据可以进行多种维度的数据分析，数据驱动决定计划，赞助企业立异。今朝在金融、电商、告白等行业已经大年夜范围应用新技巧取得了不菲的成就。

今天，企业级数据分析平台产生了很大年夜的变更。

产生什么了?

数据仓库：以前、如今和将来

万物互联的时代，跟着数据的多样性和异质性大年夜而增长数据分析的复杂性。我们的需求是接洽关系和整合这些数据。然则，我们现有的数据分析对象，Hadoop或Spark并没有带来任何神器的解决筹划。我们仍然在尽力解决同样的问题：若何大年夜不合的渠道获取数据、然后将他们接洽关系起来，如许企业可以让数据措辞，数据驱动决定计划。为懂得决这些问题，我们须要依附更多新的对象。

那么，对于传统的数据仓库，你有各类各样的数据来源。您正在收集、清洗和整合数据，以便您可以将其涌如今您的数据仓库中，进行统计分析、猜测分析、贸易智能和其他工作。

好吧，跟着时光的推移，如今变得加倍复杂了。

数据仓库：以前、如今和将来

我们有云、有移动设备、社交媒体数据、机械数据、传感器数据。越来越多的数据来源，数据爆发式增长，非构造化数据、半构造化数据、构造化数据。

有大年夜量的关于大年夜数据介绍中，你会看到幻灯片谈论您必须处理PB级数据量，才能应用上这些新的数据分析技巧。然则对我来说，这是没有抓重视点。

数据仓库：以前、如今和将来

数据仓库真正的意义是什么?为什么企业对数据仓库支撑赓续增长。这是因为不是数据量和速度问题。跟着成长，我们只须要增长硬件就能增长我们数据处理的范围，这才是分布式体系的强大年夜之处。

数据仓库的演变

新型数据分析需求

应用新技巧，使我们能更好的解决实际营业问题。

那么，我们来看看不合的技巧，是若何赞助我们解决与数据相干的需求，为营业供给数据支撑。

OLAP场景的Hadoop解决筹划，OLTP场景的NewSQL解决筹划。

流水线式的数据分析

我们看到一个有趣的现象，每个公司几乎都建立了一个数据流水线，跟着新数据的进入，他们应用NoSQL数据库来存储文档数据。就像是一个无线容量的数据库，拥有很好的扩大性，并且还能进行大年夜数据量的高速萌芽和搜刮。

我们可以看到很多大年夜范围应用MongoDB、Hbase、cassandra数据库，还有NewSQL的成长。

跟着数据多样性的出现，出现了很多新型的数据库。

越来越高的数据分析需乞降数据多样性的摸索，导致了数据库体系的蓬勃成长，国产数据库也有了异常大年夜的进步可以进入国际顶级的数据库会议揭橥论文，2017年腾讯的开源项目VLDB也发文了，而做为去IOE提议者的阿里在云端阿里云也如火如荼的成长数据库办事，比如：PolarDB、蚂蚁金服金融级数据库分布式数据库OceanBase都是黑科技级其余产品。为了在云端兼顾OLTP和OLAP的数据分析引擎，各大年夜云厂商阿里云、腾讯云、XX云都使劲的推广各自的数据库技巧，也采取与开源数据库厂商广泛合作的方法。

底层数据库体系，特别是NewSQL几大年夜巨擘也有有在经久雇用相干职位。可见今朝分布式OLTP/OLAP数据库成长的势头，必定是与Cloud相结合，也只有云化才有机会大年夜把捞金，不然开源数据库如许的生态下，底层基本软件前程在何方?

Hadoop Ecosystem

Analytic DB 的成长

我们列表 RDBMS -> MPP -> HADOOP -> NOSQL -> NEWSQL 主流的体系，根据我接触过的公司或产品来列举，小我认知有限，如未能列表周全，迎接弥补。

RDBMS

数据仓库：以前、如今和将来