Apache Beam 剖析

-DartifactId=word-count-beam \

-Dversion="0.1" \

-Dpackage=org.apache.beam.examples \

-DinteractiveMode=false

此时，敕令会创建一个文件夹 word-count-beam，琅绫擎包含一个 pom.xml 和相干的代码文件。敕令如下所示：

$ cd word-count-beam/ 
 
$ ls 
pom.xml    src 
 
$ ls src/main/java/org/apache/beam/examples/ 
DebuggingWordCount.java    WindowedWordCount.java    common 
MinimalWordCount.java    WordCount.java

3.3 运行 WordCount 示例代码

一个 Beam 法度榜样可以运行在多个 Beam 的可履行引擎上，包含 ApexRunner，FlinkRunner，SparkRunner 或者 DataflowRunner。别的还有 DirectRunner。不须要特别的设备就可以在本地履行，便利测试应用。

下面，你可以按需选择你想履行法度榜样的引擎：

对引擎进行相干设备
应用不合的敕令：经由过程 –runner=<runner>参数指明引擎类型，默认是 DirectRunner;添加引擎相干的参数;指定输出文件和输出目次，当然这里须要包管文件目次是履行引擎可以拜访到的，比如本地文件目次是不克不及被外部集群拜访的。
运行示例法度榜样

3.3.1 Direct

3.4.2 Apex

$ mvn compile exec:java -Dexec.mainClass=org.apache.beam.examples.WordCount \  
-Dexec.args="--inputFile=pom.xml --output=counts" -Pdirect-runner

3.3.2 Apex

3.4.5 Spark

$ mvn compile exec:java -Dexec.mainClass=org.apache.beam.examples.WordCount \ 
     -Dexec.args="--inputFile=pom.xml --output=counts --runner=ApexRunner" -Papex-runner

3.3.3 Flink-Local

$ mvn compile exec:java -Dexec.mainClass=org.apache.beam.examples.WordCount \  
-Dexec.args="--runner=FlinkRunner --inputFile=pom.xml --output=counts" -Pflink-runner

3.3.4 Flink-Cluster

$ mvn package exec:java -Dexec.mainClass=org.apache.beam.examples.WordCount \  
-Dexec.args="--runner=FlinkRunner --flinkMaster=<flink master> --filesToStage=target/word-count-beam-bundled-0.1.jar \  
--inputFile=/path/to/quickstart/pom.xml --output=/tmp/counts" -Pflink-runner

然后，你可以经由过程拜访 http://<flink master>:8081 来监测运行的应用法度榜样。

$ cat counts* 
BEAM: 1 
have: 1 
simple: 1 
skip: 4 
PAssert: 1 
...

3.3.5 Spark

3.3.6 Dataflow

$ mvn compile exec:java -Dexec.mainClass=org.apache.beam.examples.WordCount \ 
     -Dexec.args="--runner=DataflowRunner --gcpTempLocation=gs://<your-gcs-bucket>/tmp \	
			 2/3   首页 上一页 1 2 3 下一页 尾页	
			

　　推荐阅读
　　Gradle for Android 第四篇( 构建变体 )
            
            当你在开辟一个app,平日你会有几个版本。大年夜多半情况是你须要一个开辟版本，用来测试app和弄清它的质量，然后还须要一个临盆版本。这些版本平日有不合的设置，例如不合的URL地址。更可>>>详细阅读


本文标题：Apache Beam 剖析
地址：http://www.17bianji.com/lsqh/34709.html
 1/2    1