大数据分析技术与实战之Spark Streaming

也就是说对于源源赓续的数据，Spark Streaming是经由过程切分的方法，先将持续的数据流进行离散化处理。数据流每被切分一次，对应生成一个RDD，每个RDD都包含了一个时光距离内所获取到的所稀有据，是以数据流被转换为由若干个RDD构成的有序集合，而批处理时光距离决定了Spark Streaming须要多久对数据流切分一次。Spark Streaming是Spark上的组件，其获取的数据和数据上的操作最终仍以Spark功课的情势在底层的Spark内核中进行计算，是以批处理时光距离不仅影响数据处理的吞吐量，同时也决定了Spark Streaming向Spark提交功课的频率和数据处理的延迟。须要留意的是，批处理时光距离的设置会伴随Spark Streaming应用法度榜样的┞符个生命周期，无法在法度榜样运行时代动态修改，所以须要综合推敲实际应用处景中的数据流特点和集群的处理机能等多种身分进行设定。

大年夜数据分析技巧与拭魅战之Spark Streaming

SparkStreaming默认将接收到的数据序列化后放入内存，以削减内存应用。序列豢?状序列化须要更多的CPU资本，是以应用恰当的序列化对象(例如Kryo)和自定义的序列化接口可以更高效地应用CPU。除了应用更好的序列化对象外还可以结合紧缩机制，经由过程设备spark.rdd.compress，以CPU的时光开销来换取内存资本，降低GC开销。

图5 DStream示意图

图6 dong用户主目次下创建Streamingtext文件夹

Spark Streaming编程模式与案例分析

下面以Spark Streaming官方供给的WordCount代码为例来介绍Spark Streaming的应用方法。

示例1：

import org.apache.spark._ 
import org.apache.spark.streaming._ 
import org.apache.spark.streaming.StreamingContext._ 
/*创建一个本地模式的StreamingContext，并设定master节点工作线程数为2，并以1秒作为批处理时光距离。*/ 
val conf = new SparkConf().setMaster("local[2]"). 
setAppName("NetworkWordCount") 
val ssc = new StreamingContext(conf, Seconds(1)) 
/*经由过程获取”localhost”节点9999端口中的及时数据流创建DStream。*/ 
val lines = ssc.socketTextStream("localhost", 9999) 
/*以空格作为瓜分DStream中数据的根据，使得每一行文本转换为若干个单词。*/ 
val words = lines.flatMap(_.split(" ")) 
import org.apache.spark.streaming.StreamingContext._ 
/*对于words中的每个单词word，转换为响应的二元组情势(word,1)，在此基本上统计每个单词出现的次数。*/ 
val pairs = words.map(word => (word, 1)) 
val wordCounts = pairs.reduceByKey(_ + _) 
//输出DStream中每个RDD中前10个元素。 
wordCounts.print() 
//启动Spark Streaming应用法度榜样。 
ssc.start() 
//等待计算完成。 
ssc.awaitTermination()

Spark Streaming应用法度榜样在功能构造上平日包含以下五部分，如上述示例1所示。

导入Spark Streaming相干包：Spark Streaming作为Spark框架上的一个组件，具有很好的集成性。在开辟Spark Streaming应用法度榜样时，只需导入Spark Streaming相干包，无需额外的参数设备。
创建StreamingContext对象：同Spark应用法度榜样中的SparkContext对象一样， StreamingContext对象是Spark Streaming应用法度榜样与集群进行交互的独一通道，个中封装了Spark集群的情况信息和应用法度榜样的一些属性信息。在该对象中平日须要指明应用法度榜样的运行模式(示例1中设为local[2])、设定应用法度榜样名称(示例1中设为NetworkWordCount)、设定批处理时光距离(示例1中设为Seconds(1)即1秒钟)，个中批处理时光距离须要根据用户的需乞降集群的处理才能进行适本地设置。
创建InputDStream：Spark Streaming须要根据数据源类型选择响应的创建DStream的办法。示例1中Spark Streaming经由过程StreamingContext对象调用socketTextStream办法处理以socket连接类型数据源，创建出DStream即lines。Spark Streaming同时支撑多种不合的数据源类型，个中包含Kafka、Flume、HDFS/S3、Kinesis和Twitter等数据源。
操作DStream：对于大年夜数据源获得的DStream，用户可声调用丰富的操尴尬刁难其进行处理。示例1中针对lines的一系列操作就是一个典范的WordCount履行流程：对于当前批处理时光距离内的文本数据以空格进行切分，进而获得words;再将words中每个单词转换为二元组，进而获得pairs;最后应用reduceByKey办法进行统计。
启动与停止Spark Streaming应用法度榜样：在启动Spark Streaming应用法度榜样之前，DStream上所有的操作仅仅是定义了数据的处理流程，法度榜样并没有真正连接上数据源，也没有对数据进行任何操作，当ssc.start()启动后法度榜样中定义的操作才会真正开端履行。
2/9 首页上一页 1 2 3 4 5 6 下一页尾页

　　推荐阅读

　　业界关注的NFV，近况如何？

实现了功能虚拟化的收集可以或许使通信办事供给商快速供给办事、分析和主动化的收集，加快新办事投向市场的周期，并有效应用数据中间的通用平台。收集功能虚拟化旨在赞助电信行业加快立异>>>详细阅读

本文标题：大数据分析技术与实战之Spark Streaming

地址：http://www.17bianji.com/lsqh/37783.html

1/2 1