作家
登录

教你玩转Hadoop分布式集群搭建,进击大数据

作者: 来源: 2017-12-07 16:08:01 阅读 我要评论

  • bin/hadoop namenode -format 
    1. <configuration>  
    2. <!-- Site specific YARN configuration properties -->  
    3.     <property>  
    4.         <name>yarn.nodemanager.aux-services</name 
    5.         <value>mapreduce_shuffle</value>  
    6.     </property>  
    7.     <property>  
    8.         <name>yarn.resourcemanager.hostname</name 
    9.         <value>hadoop-master</value>  
    10.     </property>  
    11. </configuration> 

    查看防火墙状况

    6、设备masters文件

    修改/usr/local/hadoop/etc/hadoop/masters文件,该文件指定namenode节点地点的办事器机械。删除localhost,添加namenode节点的主机名hadoop-master;不建议应用IP地址,因为IP地址可能会变更,然则主机名一般不会变更。

    1. vi /usr/local/hadoop/etc/hadoop/masters  
    2. ## 内容  
    3. hadoop-master 

    7、设备slaves文件(Master主机特有)

    修改/usr/local/hadoop/etc/hadoop/slaves文件,该文件指定哪些办事器节点是datanode节点。删除locahost,添加快有datanode节点的主机名,如下所示。

    1. vi /usr/local/hadoop/etc/hadoop/slaves  
    2. ## 内容  
    3. hadoop-slave1  
    4. hadoop-slave2  
    5. hadoop-slave3 

    设备hadoop-slave的hadoop情况

    下面以设备hadoop-slave1的hadoop为例进行演示,用户需参照以下步调完成其他hadoop-slave2~3办事器的设备。

    1)复制hadoop到hadoop-slave1节点

    1. scp -r /usr/local/hadoop hadoop-slave1:/usr/local

    登录hadoop-slave1办事器,删除slaves内容

    1. rm -rf /usr/local/hadoop/etc/hadoop/slaves 

    2)设备情况变量

    1. vi /etc/profile  
    2. ## 内容  
    3. export HADOOP_HOME=/usr/local/hadoop  
    4. export PATH=$PATH:$HADOOP_HOME/bin 

    使得hadoop敕令在当前终端急速生效;

    1. source /etc/profile 
    1. source /etc/profile 

    依次设备其它slave办事

    启动集群

    1、格局化HDFS文件体系

    进入master的~/hadoop目次,履行以下操作

    1、 xxx: Error: JAVA_HOME is not set and could not be found

    2、然后启动hadoop:

    1. sbin/start-all.sh 

    3、应用jps敕令查看运行情况

    1. #master 履行 jps查看运行情况 

        推荐阅读

        双11超级工程—阿里巴巴数据库技术架构演进

      开辟者大年夜赛路演 | 12月16日,技巧立异,北京不见不散 每年电商双11大年夜促对阿里技恋人都是一次大年夜考,对阿里数据库团队更是如斯。经由9年的成长,双11单日交易额大年夜2009年的0.>>>详细阅读


      本文标题:教你玩转Hadoop分布式集群搭建,进击大数据

      地址:http://www.17bianji.com/lsqh/39573.html

    关键词: 探索发现

    乐购科技部分新闻及文章转载自互联网,供读者交流和学习,若有涉及作者版权等问题请及时与我们联系,以便更正、删除或按规定办理。感谢所有提供资讯的网站,欢迎各类媒体与乐购科技进行文章共享合作。

    网友点评
    自媒体专栏

    评论

    热度

    精彩导读
    栏目ID=71的表不存在(操作类型=0)