编译Hadoop2.9源码并搭建环境

【限时免费】岁尾最强一次云计算大年夜会，看传统、社区、互联网企业若何碰撞？

因为以前安装hadoop编译版的时刻碰到干预干与题，时光比较久了，具体问题有些描述不清了，建议大年夜家下载源码本身编译安装，如不雅碰到bug本身直接可以修改安装。本文的实验体系是mac，然则其他情况类似。

1. 安装jdk

2. 安装maven

http://localhost:8288

4. 检查openssl情况变量是否已经设备

5. 安装cmake

https://cmake.org/files/v3.9/cmake-3.9.6-Darwin-x86_64.dmg

编辑profile设备情况变量：

mvn install:install-file -Dfile=/Users/zl/Downloads/DynamoDBLocal/1.11.86/DynamoDBLocal-1.11.86.jar -DgroupId=com.amazonaws -DartifactId=DynamoDBLocal -Dversion=1.11.86 -Dpackaging=jar

sudo vi /etc/profile

在最下面添加：

export CMAKE_HOME=/Applications/CMake.app/Contents  
export PATH=$CMAKE_HOME/bin:$PATH

然后履行下面敕令使设备生效：

source /etc/profile

6. 设备ssh免密钥登录

参考文┞仿 http://www.jianshu.com/p/b354000ae5e2

7. 下载hadoop源码

http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.9.0/hadoop-2.9.0-src.tar.gz

解压到安装目次，查看编译解释：

编译须要很多依附，有些是必须的缺乏可能会导致编译掉败，每个电脑情况可能不太一致，可以先辈行编译，碰到缺点再安装。在编译过程中如不雅收集不稳定导致下载jar包掉败，这时只须要从新履行敕令即可。

8. 编译

履行编译敕令：mvn clean package -Pdist,native,docs -DskipTests -Dtar

全部编译经由过程应当如下图所示

编译碰到的问题：

8.1. 编译hadoop-pipes须要OPENSSL_ROOT_DIR情况变量

8.2. 编译到hadoop-aws:jar时缺乏依附包DynamoDBLocal:jar

须要在maven的设备文件添加settings.xml 添加mirror

dynamodb-local-oregon  
DynamoDB Local Release Repository

https://s3-us-west-2.amazonaws.com/dynamodb-local/release

亚马逊官网给出了获取的地址，膳绫擎的办法如不雅不可可以参考亚马逊官网解释：

官网解释地址

如不雅还下载不了可以先手动下载这个jar包，然后将这个jar包添加到本地maven仓库，敕令：

9. 单机版搭建

编译完的安装包在hadoop-dist/target目次下面

移动到安装目次后修改设备文件，设备文件都在hadoop-2.9.0/etc/hadoop下，可以参考官方的设备文档。

设备情况变量

添加：

# HADOOP ENV 
export HADOOP_HOME=/work/tools/hdp/hadoop-2.9.0 
export HADOOP_INSTALL=$HADOOP_HOME 
export HADOOP_MAPRED_HOME=$HADOOP_HOME 
export HADOOP_COMMON_HOME=$HADOOP_HOME 
export HADOOP_HDFS_HOME=$HADOOP_HOME 
export HADOOP_YARN_HOME=$HADOOP_HOME 
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop 
export HADOOP_PREFIX=$HADOOP_HOME 	
			 1/2    1 2 下一页 尾页	
			

　　推荐阅读
　　邮件服务器-PTR反向域名解析
            【限时免费】岁尾最强一次云计算大年夜会，看传统、社区、互联网企业若何碰撞？2、必定要有固定公网IP地址以及真实可用域名。同时要留意反向解析的域名的A记录必定要指向该IP！ 
            
        >>>详细阅读


本文标题：编译Hadoop2.9源码并搭建环境
地址：http://www.17bianji.com/lsqh/40092.html
 1/2    1