作家
登录

教你玩转Hadoop分布式集群搭建,进击大数据

作者: 来源: 2017-12-07 16:08:01 阅读 我要评论

1)登录hadoop-slave1 ,复制hadoop-master办事器的公钥”id_rsa.pub”到hadoop-slave1办事器的”root”目次下。

  1. scp root@hadoop-master:/root/.ssh/id_rsa.pub /root/ 
  1. ssh hadoop-master 

2)将hadoop-master的公钥(id_rsa.pub)追加到hadoop-slave1的authorized_keys中

3)在 hadoop-master膳绫擎测试

  1. ssh hadoop-slave1 

三、设备hadoop-slave1~hadoop-slave3本机无暗码登录hadoop-master

下面以hadoop-slave1无暗码登录hadoop-master为例进行讲解,用户需参照下面步调完成hadoop-slave2~hadoop-slave3无暗码登录hadoop-master。

1)登录hadoop-master,复制hadoop-slave1办事器的公钥”id_rsa.pub”到hadoop-master办事器的”/root/”目次下。

  1. scp root@hadoop-slave1:/root/.ssh/id_rsa.pub /root/ 

2)将hadoop-slave1的公钥(id_rsa.pub)追加到hadoop-master的authorized_keys中。

  1. cat id_rsa.pub >> .ssh/authorized_keys  
  2. rm -rf  id_rsa.pub //删除id_rsa.pub 

3)在 hadoop-slave1膳绫擎测试

依次设备 hadoop-slave2、hadoop-slave3

  1. cat id_rsa.pub >> .ssh/authorized_keys  
  2. rm -rf  id_rsa.pub 

到此主大年夜的无密登录已经完成了。

Hadoop情况搭建

设备hadoop-master的hadoop情况

1、hadoop-master上 解紧缩安装包及创建根本目次

  1. #下载  
  2. wget http://apache.claz.org/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz  
  3. #解压  
  4. tar -xzvf  hadoop-2.7.3.tar.gz    -C /usr/local  
  5. #重定名  
  6. mv  hadoop-2.7.3  hadoop 

2、 设备hadoop-master的hadoop情况变量

缺点

1)设备情况变量,修改设备文件vi /etc/profile

  1. export HADOOP_HOME=/usr/local/hadoop  
  2. export PATH=$PATH:$HADOOP_HOME/bin 

使得hadoop敕令在当前终端急速生效

  1. source /etc/profile 

下面设备,文件都在:/usr/local/hadoop/etc/hadoop路径下

  1. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 

2、设备core-site.xml

修改Hadoop核心设备文件/usr/local/hadoop/etc/hadoop/core-site.xml,经由过程fs.default.name指定NameNode的IP地址和端标语,经由过程hadoop.tmp.dir指定hadoop数据存储的临时文件夹。

  1. <configuration>  
  2.     <property>  
  3.         <name>hadoop.tmp.dir</name 
  4.         <value>file:/usr/local/hadoop/tmp</value> 
  5.         <description>Abase for other temporary directories.</description>  
  6.     </property>  
  7.     <property>  
  8.         <

      推荐阅读

      双11超级工程—阿里巴巴数据库技术架构演进

    开辟者大年夜赛路演 | 12月16日,技巧立异,北京不见不散 每年电商双11大年夜促对阿里技恋人都是一次大年夜考,对阿里数据库团队更是如斯。经由9年的成长,双11单日交易额大年夜2009年的0.>>>详细阅读


    本文标题:教你玩转Hadoop分布式集群搭建,进击大数据

    地址:http://www.17bianji.com/lsqh/39573.html

关键词: 探索发现

乐购科技部分新闻及文章转载自互联网,供读者交流和学习,若有涉及作者版权等问题请及时与我们联系,以便更正、删除或按规定办理。感谢所有提供资讯的网站,欢迎各类媒体与乐购科技进行文章共享合作。

网友点评
自媒体专栏

评论

热度

精彩导读
栏目ID=71的表不存在(操作类型=0)