作家
登录

如何在CentOS上安装Apache Hadoop

作者: 来源: 2017-08-15 15:05:35 阅读 我要评论

Apache Hadoop 软件库是一个框架,它许可应用简单的编程模型在计算机集群上对大年夜型数据集进行分布式处理。Apache™ Hadoop® 是靠得住、可扩大、分布式计算的开源软件。

该项目包含以下模块:

  • Hadoop Common:支撑其他 Hadoop 模块的常用对象。
  • Hadoop 分布式文件体系 (HDFS™):分布式文件体系,可供给对应用法度榜样数据的高吞吐量拜访支撑。
  • Hadoop YARN:功课调剂和集群资本治理框架。
  • Hadoop MapReduce:一个基于 YARN 的大年夜型数据集并行处理体系。

本文将赞助你慢慢在 CentOS 上安装 hadoop 并设备单节点 hadoop 集群。

安装 Java

在安装 hadoop 之前,请确保你的体系上安装了 Java。应用此敕令检查已安装 Java 的版本。

  1. java -version 
  2. java version "1.7.0_75" 
  3. Java(TM) SE Runtime Environment (build 1.7.0_75-b13) 
  4. Java HotSpot(TM) 64-Bit Server VM (build 24.75-b04, mixed mode) 
  1. <configuration> 
  2.  <property> 
  3.   <name>mapreduce.framework.name</name
  4.    <value>yarn</value> 
  5.  </property> 
  6. </configuration> 

要安装或更新 Java,请参考下面慢慢的解释。

如今应用以下敕令格局化 namenode:

第一步是大年夜 Oracle 官方网站下载最新版本的 java。

  1. cd /opt/ 
  2. wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.tar.gz" 
  3. tar xzf jdk-7u79-linux-x64.tar.gz 

须要设置应用更新版本的 Java 作为替代。应用以下敕令来履行此操作。

  1. cd /opt/jdk1.7.0_79/ 
  2. alternatives --install /usr/bin/java java /opt/jdk1.7.0_79/bin/java 2 
  3. alternatives --config java  
  1. There are 3 programs which provide 'java'
  2.   Selection    Command 
  3. ----------------------------------------------- 
  4. *  1           /opt/jdk1.7.0_60/bin/java 
  5.  + 2           /opt/jdk1.7.0_72/bin/java 
  6.    3           /opt/jdk1.7.0_79/bin/java 
  7. Enter to keep the current selection[+], or type selection number: 3 [Press Enter] 
  1. alternatives --install /usr/bin/jar jar /opt/jdk1.7.0_79/bin/jar 2 
  2. alternatives --install /usr/bin/javac javac /opt/jdk1.7.0_79/bin/javac 2 
  3. alternatives --set jar /opt/jdk1.7.0_79/bin/jar 
  4. alternatives --set javac /opt/jdk1.7.0_79/bin/javac 

如今大年夜官方网站 hadoop.apache.org 下载 hadoop 最新的可用版本。

下一步是设备情况变量。应用以下敕令阃确设置这些变量。

设置 JAVA_HOME 变量:


  推荐阅读

  Linux swap分区的扩展

Linux中Swap(即:交换分区),类似于Windows的虚拟内存,就是当内存不足的时刻,把一部分硬盘空间虚拟成内存应用,大年夜而解决内存容量不足的情况。swap分区在非高内存的办事器上必弗成少,然则swap不克不及充当内存应用。>>>详细阅读


本文标题:如何在CentOS上安装Apache Hadoop

地址:http://www.17bianji.com/lsqh/36710.html

关键词: 探索发现

乐购科技部分新闻及文章转载自互联网,供读者交流和学习,若有涉及作者版权等问题请及时与我们联系,以便更正、删除或按规定办理。感谢所有提供资讯的网站,欢迎各类媒体与乐购科技进行文章共享合作。

网友点评
自媒体专栏

评论

热度

精彩导读
栏目ID=71的表不存在(操作类型=0)