spark法度榜样是应用一个spark应用实例一次性对一批汗青数据进行处理，spark streaming是将持续赓续输入的数据流转换成多个batch分片，应用一批spark应用实例进行处理，侧重点在Steaming膳绫擎。我们常说的Spark-Streaming依附了Spark Core的意思就是，实际计算的核心框架照样spark。我们照样上一张老生常谈的官方图：

大年夜道理上看，我们将spark-streaming改变为传统的spark须要什么?

须要构建4个器械：

一个静态的 RDD DAG 的模板，来表示处理逻辑;

一个动态的工作控制器，将持续的 streaming data 切分数据片段，并按照模板复制出新的 RDD

DAG 的实例，对数据片段进行处理;

Receiver进行原始数据的产生和导入;Receiver将接收到的数据归并为数据块并存到内存或硬盘中，供后续batch RDD进行花费;对长时运行义务的保障，包含输入数据的掉效后的重构，处理义务的掉败后的重调。

至于上述过程具体怎么实现，我们会在spark-streaming源码分析的文┞仿一一一解决。本文中图片文字来自于收集。

【编辑推荐】

1. 若何基于Spark Streaming构建及时Ｅ?娼台
2. Apache Spark常见的三大年夜误会
3. 大年夜数据分析技巧与拭魅战之Spark Streaming
4. Spark Graphx 实现图中极大年夜团发掘, 伪并行化算法
5. 归并Spark社区代码的┞俘确姿势

【义务编辑：武晓燕 TEL：（010）68476606】

　　推荐阅读

　　编程语言之争，谁将会杀死Java？

英文原文：What Will Kill Java?Java 是这个星球上最为风行的编程说话之一，但这方面的竞争正愈演愈烈。下面我们将讲述 Java 可能遭受滑铁卢的处所，以及可以做些什么来预防它的阑珊。该说话将不会用于>>>详细阅读

本文标题：谈谈Spark与Spark-Streaming关系

地址：http://www.17bianji.com/lsqh/37882.html

 1/2    1