【51CTO.com原创稿件】Doug Cutting是开源界的技巧大年夜神，无论是2000年的Lucene，照样后来基于Lucene衍生的企业级搜刮项目Solr以及ElasticSearch，当然还包含后来风靡全球的Hadoop，他经手的每一个开源项目都影响甚广并在个中表示出色，尽管笔者不是经久奋战在技巧一线的法度榜样员，但也久闻大年夜名，此次查访让笔者等待已久。

关于Hadoop

谈及Hadoop的出生，Doug Cutting在大年夜家面前露出了惊喜的神情。他表示，当初仅仅是为了完成手上的项目，确切没有想到一旦创建出这个技巧后，会有如斯之广的用处。例如当时没有预感可以或许在制造、银行、电信这么多的行业广泛应用，最初仅仅认为也就是重要用于搜刮引擎和网站创建上，算是不测之喜了。“最让我惊喜的是，环绕Hadoop以及基于Hadoop的所有项目以及技巧并不是零丁存在的，而是以多种技巧为基本所构成的系列家族，并且全部技巧体系还在赓续成长和演进中，换句话说环绕着Hadoop如今已经形成了异常强大年夜的生态体系，这种生态体系的演进和成长并不受制于个中任何一种技巧。”Doug Cutting弥补道。

【技巧沙龙】AI开辟者拭魅战营-7分钟打造1个定制技能。7月22号，我们等你一路！

谈到Hadoop在我国的成长强大年夜，确切可以看到我国市场和Hadoop之间有一个异常天然的契合和匹配。大年夜数据的角度来说，我国可能是世界上最大年夜的单一市场，拥稀有据的数量?锥围跨越了世界上大年夜部分其他国度，这也是Hadoop在我国有着异常成功的成长的原因之一，这种特别的成长情况或许催生了我国Hadoop生态圈与其他国度的一些差别。

Doug Cutting说：“在中国，很多Hadoop用户习惯应用Hadoop的开源版本，而不须要去获得哪一家具体公司的支撑和赞助。中国市场和美国比拟，须要花更多时光对市场进行教导和培养，也就是说大年夜加倍长远的角度出发，须要让人们懂得在应用这些软件的过程中如不雅可以或许获得有关方面的支撑和赞助会有更佳的应用体验。如许的市场教导在中国可能要花很长时光，但对于Hadoop在中国的成长前景我满怀信念。”

任何技巧的完美都要在赓续的成长中萌生立异的活力，Hadoop也是如斯。本年又是云计算市场如火如荼的一年，商量云计算对Hadoop的影响，Doug Cutting有本身的设法主意。“我认为云计算或云模式使客户在应用Hadoop的方法上具有了更大年夜的灵活性，例如可以在云情况中应用Hadoop。如不雅用本地安装运行的情势应用Hadoop，往往要创建一个单一的大年夜集群来支撑各类不合的应用，并且须要拥有一个同一的数据拷贝;如不雅在云情况中运行Hadoop，数据会在亚马逊存储之类的体系中，云情况供给商已经赞助治理了数据拷贝。此外，在云情况中应用Hadoop，客户可以针对不合的应用创建不合的集群，如许的集群开关或者范围伸缩等都可以按需进行，对于客户来说，应用更好被控制，同时也增长了灵活性。

如不雅大年夜全部IT长远的成长趋势看，以前一个企业中的IT往往是集中在一个部分，但如今很多企业的数据和数笔迹巧是在全部企业中扩散并被应用，各个非IT部分具有越来越大年夜的才能在IT方面进行自我治理、自我办事，越来越多的对象可以或许赞助做到这一点，不得不说袈淦计算促进和推动了这一趋势的成长。

Doug Cutting：就数据仓库的架构而言，实际上我们可以把全部数据仓库都建立在Hadoop上。五年前，我们与Ralph Kimball博士，他是数据仓库架构重要的创建人，一路弄明白也证实了可以完全基于Hadoop来建立数据仓库，并且也有很多用户确切是把本身的数据仓库完全建立在Hadoop基本上。

关于人工智能

因为云计算的出现矢荷琐公司中非IT部分，例如运营、制造、市场营销部分可以或许自行采购一些办事并且加以运行，控制才能和灵活性都比以往大年夜大年夜加强，所以云计算本身也是促进了IT和数据的分散化、自助化，一悛改去那种集中化的模式。查访中，笔者也针对数据仓库架构以及Hadoop针对小数据量应用的问题就教了Doug Cutting。

51CTO记者：如今，有的数据专家趋势于将Hadoop作为数据仓库架构的弥补，这个问题您怎么对待?

当然，就建立数据仓库的技巧而言，有其他的一些技巧或者对象与Hadoop比拟，存在的时光更长，事实上对于这些时光加倍长久的技巧，Hadoop并没有能完全具备个中所有的功能与机能。但即便如斯，很多用户照样选择将他们的数据仓库构建在Hadoop架构上，为了可以或许实现加倍优胜的可扩大性、更高的性价比以及更好的灵活性。

对于一些始创企业来说，他们会用Cloudera Hadoop来构建全部数据仓库;对于一些其他类型的公司，如不雅他们已经具备传统技巧架构的数据仓库，他们也会采取Cloudera Hadoop，也就是将他们传统数据仓库中的一部分工作负载迁徙到Cloudera Hadoop的平台上。对于如许的公司来说，实际上他们拥有了一个更大年夜的数据仓库，拥有了更好的伸缩扩大性并且可以或许降低成本。当然，对于已有基于传统技巧的数据仓库的公司来说，如不雅要把所有的工作负载都迁徙到Cloudera上是有艰苦的，因为合适性与兼容性的问题，部分迁徙照样可以完成的。

51CTO记者：对于一些数据量极小的应用，有的人认为用Hadoop是“杀鸡用牛刀”，您对此若何懂得?

Doug Cutting：是不是“杀鸡用牛刀”，重要看竽暌姑户完成义务的过程中须要应用如何的对象，有时刻也许在范围上、扩大性上超出了需求，但仍然可以或许带来灵活性的优势。例如应用基于Spark的机械进修对象，有些时刻用户仍然发明Hadoop平台对于他们完成义务异常有效，固然范围可能过大年夜;实际应用中也发明在很多应用傍边即使是范围很小的集群，比方说5个节点的集群，客户也发明应用Hadoop与其他技巧选项比拟可以或许产生更好的产出，带来更多的价值与竞争，当然我们并不认为Hadoop是一种通用的对象，可以或许解决所有问题。

　　推荐阅读

　　手把手教你用 Python 和 Scikit-Learn 实现垃圾邮件过滤

【技巧沙龙】AI开辟者拭魅战营-7分钟打造1个定制技能。7月22号，我们等你一路！ 文本发掘（Text Mining，大年夜文字中获守信息）是一个比较宽泛的概念，这一技巧在如今天天都有海量文本>>>详细阅读

本文标题：听Cloudera首席架构师Doug Cutting谈Hadoop与人工智能

地址：http://www.17bianji.com/lsqh/36313.html

 1/2    1