作家
登录

Hadoop常见错误和处理方式

作者: 来源: 2017-04-17 13:05:42 阅读 我要评论

-bgsave-error no 
  • 主节点7180无法拜访

启动客户端:

  1. /usr/local/redis/redis-cli 

输入:

1)检查主节点是不是日记空间满了,如不雅满了,须要删除/var/log/hive下面日记

2)删除浏览器的cookie拜访记录

hadoop相干办事启动敕令:

  1. sudo service cloudera-scm-server stop 
  2. sudo service cloudera-scm-server-db stop 
  3. sudo service cloudera-scm-server start 
  4. sudo service cloudera-scm-server-db start 
  • LTEMRO采集报错

主如果在这一步报错:CREATE_EXTERNAL_TABLE_NODE

有效的采样点数据,是如下的八个字段必须有值:

  1. MR.LteScEarfcn 主小区频点 
  2. MR.LteScPci 主小区PCI 
  3. MR.LteScRSRP 主小区的RSRP 
  4. MR.LteScRSRQ 主小区RSRQ 
  5. MR.LteNcEarfcn 邻小区频点 
  6. MR.LteNcPci 邻小区PCI 
  7. MR.LteNcRSRP 邻小区的RSRP 
  8. MR.LteNcRSRQ 邻小区RSRQ 

只要有有效数据,就不会报这个错。

  • 查看日记

HIVE的日记主如果在:/var/log/hive/

oozie的日记重要在: /var/log/oozie/

HDFS的日记重要在: /var/log/hadoop-hdfs/

常见问题及处理

  • mysql版本,必须是MYSQL5.1。

zookeeper的日记重要在:/var/log/zookeeper/

在出现问题的时刻,可以看看这些日记。

  • zookeeper无法启动。

处理办法:到master主机的/var/lib/zookeeper,删除所有的文件,重启zookeeper即可。

sudo mkdir version-2

sudo chown -R zookeeper:zookeeper version-2

  • loudera-manager-installer.bin安设备错。

报错如下:

  1. Loaded plugins: aliases, changelog, downloadonly, fastestmirror, kabi, presto, 
  2. : refresh-packagekit, security, tmprepo, verify, versionlock 
  3. Loading support for CentOS kernel ABI 
  4. Loading mirror speeds from cached hostfile 
  5. http://10.233.9.63/cdh4.3.0/cdh4.3/repodata/repomd.xml: [Errno 14] PYCURL ERROR 22 - "The requested URL returned error: 403" 
  6. Trying other mirror. 
  7. Error: Cannot retrieve repository metadata (repomd.xml) for repository: cloudera-cdh4. Please verify its path and try again 

处理办法:

删除集群中每一台机械上原有的repo文件,rm -rf /etc/yum.repos.d/*

然后修改cloudera-chd4.repo、cloudera-impala.repo和 cloudera-manager.repo文件,将文件中的地址换成主节点的地址。

建议设备成如许的:

将cloudera-chd4.repo、cloudera-impala.repo和 cloudera-manager.repo文件上传到集群中每一台机械的/etc/yum.repos.d/目次下。

oozie的数据库,同样:create database oozie;

【编辑推荐】

  1. VR改变大年夜数据的四种方法
  2. 若何应用Hadoop晋升Hive萌芽机能
  3. 数据分析中会常犯哪些缺点,若何解决?
  4. Spark法度榜样运行常见缺点解决办法以及优化
  5. Hadoop情况中治理大年夜数据存储八大年夜技能
【义务编辑:武晓燕 TEL:(010)68476606】

  推荐阅读

  微信高可用分布式数据库PhxSQL设计与实现

因为MySQL没有供给在重启时的插件接口,为了后续保护便利,在MySQL代码层抽象出了一个新插件接口before_binlog_init用于校准Binlog。【MySQL的容灾缺点总结】 MySQL在容灾方面存在的问>>>详细阅读


本文标题:Hadoop常见错误和处理方式

地址:http://www.17bianji.com/lsqh/34799.html

关键词: 探索发现

乐购科技部分新闻及文章转载自互联网,供读者交流和学习,若有涉及作者版权等问题请及时与我们联系,以便更正、删除或按规定办理。感谢所有提供资讯的网站,欢迎各类媒体与乐购科技进行文章共享合作。

网友点评
自媒体专栏

评论

热度

精彩导读
栏目ID=71的表不存在(操作类型=0)