作家
登录

Hadoop伪分布式搭建操作步骤指南

作者: 来源: 2017-10-26 06:19:42 阅读 我要评论

  • 修改hadoop/etc/hadoop/hdfs-site.xml文件
    • 指定HDFS文件存储的副本数个数,默认是3个,这里是单台机械就设置为1,这个数字要小于datanode的节点数。
    1. <property> 
    2.     <name>dfs.replication</name
    3.     <value>1</value> 
    4. </property>  

    8.

    • 修改hadoop/etc/hadoop/slaves文件
      • 指定大年夜节点的机械地位,添加主机名即可 
    1. bigdata-4 

    沙龙晃荡 | 去哪儿、陌陌、ThoughtWorks在主动化运维中的实践!10.28不见不散!

    9.

    • 格局化namenode
    1. bin/hdfs namenode -format 

    10.

    • 启动敕令
      • sbin/hadoop-daemon.sh start namenode
      • sbin/hadoop-daemon.sh start datanode

    11.

    • 查看HDFS外部UI界面
      • bigdata-04或者IP地址 跟上50070端标语,外部通信http dfs.namenode.http-address 50070
      • http://bigdata-4:50070 (如不雅windows本地没有设备hosts,须要设备)
      • 如不雅不克不及精确打开页面,请检查防火墙是否封闭
        • 切换至root 用户,service iptables status
        • 封闭防火墙 chkconfig iptables off

    12.

    • 测试HDFS情况
      • 创建文件夹,HDFS中有效户主目次的概念,和Linux一样
      • bin/hdfs dfs -mkdir -p wxt_test/iuput

    13.

    • 上传文件到HDFS(随便找一个文件上传就行)
      • bin/hdfs dfs -put /opt/modules/hadoop-2.5.0/etc/hadoop/core-site.xml wxt_test/input/core-site.xml
      • 上传成功,HDFS外部UI界面,会有上传的文件显示

    14.

    • 攫取HDFS的文件
      • bin/hdfs dfs -text /core-site.xml
      • 终端会显示上传文件的内容。

    15.

    • 下载文件到本地(指定下载到哪里,同时可以重定名成get-site.xml)bin/hdfs dfs -get /core-site.xml /home/wxt/Desktop/get-site.xml然后你会看到这个文件,并且重定名于桌面。

    Hadoop 伪分布式搭建至此停止。

    【编辑推荐】

    1. 基于Hadoop大年夜数据分析应用处景与拭魅战
    2. 关于Hadoop你须要知道的一些事项
    3. 干货 | 98道常见Hadoop面试题及谜调剂析(一)
    4. 10道Hadoop面试真题及解题思路
    5. 关于Hadoop技巧的HA机制进修
    【义务编辑:庞桂玉 TEL:(010)68476606】

      推荐阅读

      赛尔网络与盛邦安全达成战略合作,让高校体验到更高效更便捷的Web安全治理SaaS服务

    沙龙晃荡 | 去哪儿、陌陌、ThoughtWorks在主动化运维中的实践!10.28不见不散! 【51CTO.com原创稿件】10月24日>>>详细阅读


    本文标题:Hadoop伪分布式搭建操作步骤指南

    地址:http://www.17bianji.com/lsqh/38220.html

    关键词: 探索发现

    乐购科技部分新闻及文章转载自互联网,供读者交流和学习,若有涉及作者版权等问题请及时与我们联系,以便更正、删除或按规定办理。感谢所有提供资讯的网站,欢迎各类媒体与乐购科技进行文章共享合作。

    网友点评
    自媒体专栏

    评论

    热度

    精彩导读
    栏目ID=71的表不存在(操作类型=0)