什么是 Apache Spark？大数据分析平台如是说

name”, “pop”)

citiesDF.createOrWordStrTempView(“cities”)  
spark.sql(“SELECT name, pop FROM cities”)

在后台， Apache Spark 应用名为 Catalyst 的萌芽优化器来检查数据和萌芽，以便为数据局部性和计算生成有效的萌芽筹划，以便在集群中履行所需的计算。在 Apache Spark 2.x 版本中，Spark SQL 的数据框架和数据集的接口(本质上是一个可以在编译时检查精确性的数据框架类型，并在运行时应用内存并和计算优化)是推荐的开辟方法。RDD 接口仍然可用，但只有无法在 Spark SQL 典范中封装的情况下才推荐应用。

Spark MLib

Apache Spark 还有一个绑缚很多在大年夜数据集上做数据分析和机械进修的算法的库 (Spark MLib) 。Spark MLlib 包含一个框架用来创建机械进修管道和在任何构造化数据集长进行特点提取、选择、变换。MLLib 供给了聚类和分类算法的分布式实现，如 k 均值聚类和随机丛林等可以在自定义管道间自由转换的算法。数据科学家可以在 Apache Spark 中应用 R 或 Python 练习模型，然后应用 MLLib 存储模型，最后在临盆中将模型导入到基于 Java 或者 Scala 说话的管道中。

要应用 SQL 接口，起重要将数据框架注册成一个临时表，之后我们就可以应用 SQL 语句进行萌芽：

第一个优势是速度。Spark 的内存内数据引擎意味着在某些情况下，它履行义务的速度比 MapReduce 快一百倍，特别是与须要将状况写回稻磁逄之间的多级功课比拟时更是如斯。即使 Apache Spark 的功课数据不克不及完全包含在内存中，它往往比 MapReduce 的速度快10倍阁下。

Spark GraphX 供给了一系列用于处理图形构造的分布式算法，包含 Google 的 PageRank 实现。这些算法应用 Spark Core 的 RDD 办法来建模数据;GraphFrames 包许可您对数据框履行图形操作，包含应用 Catalyst 优化器进行图形萌芽。

Spark Streaming

Spark Streaming 是 Apache Spark 的一个新增功能，它赞助在须要及时或接近及时处理的情况中获得牵引力。以前，Apache Hadoop 世比赛的批处理和流处理是不合的器械。您可认为您的批处篮孟耋编写 MapReduce 代码，并应用 Apache Storm 等及时流媒体请求。这显然导致不合的代码库须要保持同步的应用法度榜样域，尽管是基于完全不合的框架，须要不合的资本，并涉及不合的操作问题，以及运行它们。

Spark Streaming 将 Apache Spark 的批处理概念扩大为流，将流分化为持续的一系列微格局，然后应用 Apache Spark API 进行操作。经由过程这种方法，批处理和流操作中的代码可以共享(大年夜部分)雷同的代码，运行在同一个框架上，大年夜而削减开辟人员和操作员的开销。每小我都能获益。

对 Spark Streaming 办法的一个批驳是，在须要对传入数据进行低延迟响应的情况下，批量微操作可能无法与 Apache Storm，Apache Flink 和 Apache Apex 等其他支撑流的框架的机能相匹配，所有这些都应用纯粹的流媒体办法而不是批量微操作。

Structured Streaming

Structured Streaming(在 Spark 2.x 中新增的特点)是针对 Spark Streaming 的，就跟 Spark SQL 之于 Spark 核心 API 一样：这是一个更高等其余 API，更易于编写竽暌功用法度榜样。在应用 Structure Streaming 的情况下，更高等其余 API 本质上许可开辟人员创建无穷流式数据帧和数据集。它还解决了用户在早期的框架中碰到的一些异常真实的痛点，尤其是在处理事宜时光聚合和延迟传递消息方面。对 Structured Streaming 的所有萌芽都经由过程 Catalyst 萌芽优化器，甚至可以以交互方法运行，许可用户对及时流数据履行 SQL 萌芽。

Structured Streaming 在 Apache Spark 中仍然是一个相当新的部分，已经在 Spark 2.2 发行版中被标记为产品就绪状况。然则，Structure Streaming 是平台上流式传输应用法度榜样的将来，是以如不雅你要构建新的流式传输应用法度榜样，则应当应用 Structure Streaming。传统的 Spark Streaming API 将持续获得支撑，但项目组建议将其移植到 Structure Streaming 上，因为新办法使得编写和保护流式代码加倍轻易。

Apache Spark 的下一步是什么?

尽管构造化数据流为 Spark Streaming 供给了高等改进，但它今朝依附于处理数据流的雷同微量批处理筹划。然而， Apache Spark 团队正在尽力为平台带来持续的流媒体处理，这应当可以或许解决很多处理低延迟响应的问题(声称大年夜约1ms，这将会异常令人印象深刻)。更好的是，因为构造化流媒体是建立在 Spark SQL 引擎之上的，所以应用这种新的流媒体技巧将不须要更改代码。

除此之外，Apache Spark 还精晓过 Deep Learning Pipelines 增长对深度进修的支撑。应用 MLlib 的现有管线构造，您将可以或许在几行代码中构建分类器，并将自定义 Tensorflow 图形或 Keras 模型应用于传入数据。这些图表和模型甚至可以注册为自定义的 Spark SQL UDF(用户定义的函数)，以便深度进修模许可以作为 SQL 语句的一部分应用于数据。

这些功能今朝都无法知足临盆的需求，但鉴于我们之前在 Apache Spark 中看到的快速成长，他们应当会在2018年的黄金时段做好预备。

【编辑推荐】

Apache Spark 内存治理详解
实用 | 大年夜Apache Kafka到Apache Spark安然攫取数据
10 亿级海量数据运算下，Apache Spark 的四个技巧应用实践
用 Apache Spark 和 TensorFlow 进行深度进修
Apache Spark常见的三大年夜误会

【义务编辑：未丽燕 TEL：（010）68476606】

2/2 首页上一页 1 2

　　推荐阅读

　　云计算经济学：弹好可用性、性能与成本这三个键

其他办事则是在应用时收取费用。例如，可推敲许可用户对持久对象存储履行SQL萌芽并按照萌芽付出费用的供给商。然则，这个办事的成本包含了基于数据拜访数量的单次萌芽扁平成本，以及将萌芽结不雅存回对象存储的成本。>>>详细阅读

本文标题：什么是 Apache Spark？大数据分析平台如是说

地址：http://www.17bianji.com/lsqh/39281.html

1/2 1