作家
登录

教你玩转Hadoop分布式集群搭建,进击大数据

作者: 来源: 2017-12-07 16:08:01 阅读 我要评论

 
  • 25928 SecondaryNameNode  
  • 25742 NameNode  
  • 26387 Jps  
  • 26078 ResourceManager  
  • #slave 履行 jps查看运行情况  
  • 24002 NodeManager  
  • 23899 DataNode  
  • 24179 Jps 
  • 4、敕令查看Hadoop集群的状况

    经由过程简单的jps敕令固然可以查看HDFS文件治理体系、MapReduce办事是否启动成功,然则无法查看到Hadoop全部集群的运行状况。我们可以经由过程hadoop dfsadmin -report进行查看。用该敕令可以快速定位出哪些节点挂掉落了,HDFS的容量以及应用了若干,以及每个节点的硬盘应用情况。

    1. hadoop dfsadmin -report 

    输出结不雅:

    1. Configured Capacity: 50108030976 (46.67 GB)  
    2. Present Capacity: 41877471232 (39.00 GB)  
    3. DFS Remaining: 41877385216 (39.00 GB)  
    4. DFS Used: 86016 (84 KB)  
    5. DFS Used%: 0.00%  
    6. Under replicated blocks: 0  
    7. Blocks with corrupt replicas: 0  
    8. Missing blocks: 0  
    9. Missing blocks (with replication factor 1): 0 
    10.  ...... 

    5、hadoop 重启

    1. sbin/stop-all.sh  
    2. sbin/start-all.sh 

    在搭建完成启动的时刻,产生过两个缺点:

    格局化namenode,第一次启动办事前履行的操作,今后不须要履行。

    这个缺点意思没有找到jdk的情况变量,须要在hadoop-env.sh设备。

    1. vi /usr/local/hadoop/etc/hadoop/hadoop-env.sh  
    2. ## 设备项  
    3. export JAVA_HOME=/usr/lib/jvm/jre-1.7.0-openjdk.x86_64 

    2、The authenticity of host ‘0.0.0.0 (0.0.0.0)’ can’t be established.

    解决筹划封闭SELINUX

    1. -- 封闭SELINUX  
    2. # vim /etc/selinux/config  
    3. -- 注释掉落  
    4. #SELINUX=enforcing  
    5. #SELINUXTYPE=targeted  
    6. — 添加  
    7. SELINUX=disabled 

    【编辑推荐】

    1. 若何为Hadoop集群选择精确的硬件
    2. 深度解析:Spark优于Hadoop吗?
    3. 你须要懂得关于Hadoop与大年夜数据的12个事实
    4. Hadoop面试,有它就够了
    5. 大年夜数据架构师必看:常见的七种Hadoop和Spark项目案例
    【义务编辑:未丽燕 TEL:(010)68476606】

      推荐阅读

      双11超级工程—阿里巴巴数据库技术架构演进

    开辟者大年夜赛路演 | 12月16日,技巧立异,北京不见不散 每年电商双11大年夜促对阿里技恋人都是一次大年夜考,对阿里数据库团队更是如斯。经由9年的成长,双11单日交易额大年夜2009年的0.>>>详细阅读


    本文标题:教你玩转Hadoop分布式集群搭建,进击大数据

    地址:http://www.17bianji.com/lsqh/39573.html

    关键词: 探索发现

    乐购科技部分新闻及文章转载自互联网,供读者交流和学习,若有涉及作者版权等问题请及时与我们联系,以便更正、删除或按规定办理。感谢所有提供资讯的网站,欢迎各类媒体与乐购科技进行文章共享合作。

    网友点评
    自媒体专栏

    评论

    热度

    精彩导读
    栏目ID=71的表不存在(操作类型=0)