作家
登录

教你玩转Hadoop分布式集群搭建,进击大数据

作者: 来源: 2017-12-07 16:08:01 阅读 我要评论

name>fs.defaultFS</name 
  •         <value>hdfs://hadoop-master:9000</value>  
  •     </property>  
  • </configuration> 
  • 特别留意:如没有设备hadoop.tmp.dir参数,此时体系默认的临时目次为:/tmp/hadoo-hadoop。而这个目次在每次重启后都邑被删除,必须从新履行format才行,不然会掉足。

    3、设备hdfs-site.xml:

    修改HDFS核心设备文件/usr/local/hadoop/etc/hadoop/hdfs-site.xml,经由过程dfs.replication指定HDFS的备份因子为3,经由过程dfs.name.dir指定namenode节点的文件存储目次,经由过程dfs.data.dir指定datanode节点的文件存储目次。

    1. <configuration>  
    2.     <property>  
    3.         <name>dfs.replication</name 
    4.         <value>3</value>  
    5.     </property>  
    6.     <property>  
    7.         <name>dfs.name.dir</name 
    8.         <value>/usr/local/hadoop/hdfs/name</value>  
    9.     </property>  
    10.     <property>  
    11.         <name>dfs.data.dir</name 
    12.         <value>/usr/local/hadoop/hdfs/data</value>  
    13.     </property>  
    14. </configuration> 

    4、设备mapred-site.xml

    拷贝mapred-site.xml.template为mapred-site.xml,在进行修改

    1. cp /usr/local/hadoop/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/etc/hadoop/mapred-site.xml  
    2. vim /usr/local/hadoop/etc/hadoop/mapred-site.xml  
    3. <configuration>  
    4.   <property>  
    5.       <name>mapreduce.framework.name</name 
    6.       <value>yarn</value>  
    7.   </property>  
    8.    <property>  
    9.       <name>mapred.job.tracker</name 
    10.       <value>http://hadoop-master:9001</value>  
    11.   </property>  
    12. </configuration> 

    5、设备yarn-site.xml


        推荐阅读

        双11超级工程—阿里巴巴数据库技术架构演进

      开辟者大年夜赛路演 | 12月16日,技巧立异,北京不见不散 每年电商双11大年夜促对阿里技恋人都是一次大年夜考,对阿里数据库团队更是如斯。经由9年的成长,双11单日交易额大年夜2009年的0.>>>详细阅读


      本文标题:教你玩转Hadoop分布式集群搭建,进击大数据

      地址:http://www.17bianji.com/lsqh/39573.html

    关键词: 探索发现

    乐购科技部分新闻及文章转载自互联网,供读者交流和学习,若有涉及作者版权等问题请及时与我们联系,以便更正、删除或按规定办理。感谢所有提供资讯的网站,欢迎各类媒体与乐购科技进行文章共享合作。

    网友点评
    自媒体专栏

    评论

    热度

    精彩导读
    栏目ID=71的表不存在(操作类型=0)