教你玩转Hadoop分布式集群搭建，进击大数据

开辟者大年夜赛路演 | 12月16日，技巧立异，北京不见不散

Hadoop的搭建有三种方法，单机版合适开辟调试;伪分布式版，合适模仿集群进修;完全分布式，临盆应用的模式。这篇文件介绍若何搭建完全分布式的hadoop集群，一个主节点，三个数据节点为例来讲解。

教你玩转Hadoop分布式集群搭建，进击大年夜数据

基本情况

情况预备

jdk和生成保持一致应用1.7版本

hadoop应用2.7.3版本，下载地址：http://apache.claz.org/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

1、软件版本

四台办事器设备，体系：centos6.5、内存：1G、硬盘：20G
四台办事器分派的IP地址：192.168.0.71/72/73/74
筹划：71用作主节点用作hadoop-master，其它三台为数据节点72、73、74用作hadoop-salve1~3

2、host设备和主机名(四台)

修改四台办事器的hosts文件

vim /etc/hosts  
192.168.0.71 hadoop-master  
192.168.0.72 hadoop-slave1  
192.168.0.73 hadoop-slave2  
192.168.0.74 hadoop-slave3

分别斯塔办事器的主机名:HOSTNAME，master为例解释

vi /etc/sysconfig/network  
HOSTNAME=hadoop-master

履行reboot后生效，完成之后依次修改其它salve办事器为： hadoop-slave1~3。

3、办事器安装jdk(四台)

建议应用yum安装jdk,也可以自行下载安装

yum -y install java-1.7.0-openjdk*

设备情况变量，修改设备文件vim /etc/profile

export JAVA_HOME=/usr/lib/jvm/jre-1.7.0-openjdk.x86_64  
export PATH=$JAVA_HOME/bin:$PATH  
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

免密上岸

一、起首封闭四台办事器的防火墙和SELINUX

service iptables status

封闭防火墙

service iptables stop  
chkconfig iptables off

封闭SELINUX后，须要重启办事器

-- 封闭SELINUX  
# vim /etc/selinux/config  
-- 注释掉落  
#SELINUX=enforcing  
#SELINUXTYPE=targeted  
-- 添加  
SELINUX=disabled

二、免暗码登录本机

下面以设备hadoop-master本机无暗码登录为例进行讲解，用户需参照下面步调完成h-salve1~3三台子节点机械的本机无暗码登录;

1)临盆秘钥

应用souce敕令让急速生效

ssh-keygen -t rsa

2)将公钥追加到”authorized_keys”文件

3)付与权限

chmod 600 .ssh/authorized_keys

4)验证本机能无暗码拜访

最后，依次设备h-salve1~3无暗码拜访

ssh hadoop-master

二、hadoop-master本机无暗码登录hadoop-slave1、hadoop-slave2、hadoop-slave3，以hadoop-master无暗码登录hadoop-slave1为例进行讲解：

终于要开端玩大年夜数据了，之前对haoop生态几乎没有太多的懂得，如今赶鸭子上架，须要完全应用它来做数据中间，这是我的haoop第一篇文┞仿，今后估计会写很多大年夜数据相干的文┞仿。

1/5 1 2 3 4 5 下一页尾页

　　推荐阅读

　　双11超级工程—阿里巴巴数据库技术架构演进

开辟者大年夜赛路演 | 12月16日，技巧立异，北京不见不散每年电商双11大年夜促对阿里技恋人都是一次大年夜考，对阿里数据库团队更是如斯。经由9年的成长，双11单日交易额大年夜2009年的0.>>>详细阅读

本文标题：教你玩转Hadoop分布式集群搭建，进击大数据

地址：http://www.17bianji.com/lsqh/39573.html

1/2 1