Hadoop常见错误和处理方式

at org.apache.commons.net.ftp.FTP.__getReply(FTP.java:363)

at org.apache.commons.net.ftp.FTP.__getReply(FTP.java:290)

at org.apache.commons.net.ftp.FTP.connectAction(FTP.java:396)

at org.apache.commons.net.ftp.FTPClient.connectAction(FTPClient.java:796)

at org.apache.commons.net.SocketClient.connect(SocketClient.java:172)

at org.apache.commons.net.SocketClient.connect(SocketClient.java:192)

TASKTRACKER和HDFS组的问题

发明部分处地点安装的时刻，将所有的机械分组的问题。

如不雅分组，须要将每个组的参数都要修改。

今朝发明很多的处所，TASKTRACKER和HDFS都分了组，然则只修改一组的参数，造成体系大年夜量出问题。

java heap size以及tasktracker被拉黑名单的问题。

namenode和datanode的内存设备问题。

建议将应用的内存修改为4G阁下。

建议将HIVE2办事放到一个辅节点上。

hive2放到辅节点上，经常出现add_partation挂起报错。

解决HIVE经常挂逝世的问题

修改zookeeper的最大年夜客户端连接数，maxClientCnxns修改为3600或者修改成0不限制

主动清空时光距离，autopurge.purgeInterval 修改为1小时

厂家XML设备的问题。

如不雅厂家是如许的：/data/dataservice/mr/ltemro/huawei/20140815/01/362323/TD-LTE_MRO_HUAWEI_010133150144_362323_20140815011500.xml.gz

路径：/data/dataservice/mr/ltemro/huawei/$TIME$/$ENODEB$

时光格局：yymmdd/hh

在/home/boco/oozie_wy/config/lte/mro/ftp下禁止存放.bak文件

有一个省份的mapper数超多，导致解析很长时光没有完成。

(留意在修改IP设备文件的时刻，将HWaddr也改了，一般是这种格局：00:50:56:80:4E:D6，

进一步发明FTP在归并文件的时刻报错，再进一步发明同一个IP地址，同一个OMC启动了三个mapper过程去下载数据导致文件归并掉败。

发明是修改了ftp.xml文件，没有删除本来的文件，而是以一个bak文件存放。

解析时刻报错，缺点如下：

原mapper数1731个，删除之后mapper数41个,采集正常。

打开50030看FTP的日记，存在如下的报错：

java.io.FileNotFoundException: File does not exist: /user/boco/cache/wy/ltemro/1411032293348/xml/155/2014-09-18_11/TD-LTE_MRO_ERICSSON_OMC1_303024_20140918111500.xml.zip 
at org.apache.hadoop.hdfs.server.namenode.INodeFile.valueOf(INodeFile.java:39) 
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getBlockLocationsUpdateTimes(FSNamesystem.java:1341) 
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getBlockLocationsInt(FSNamesystem.java:1293) 
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getBlockLocations(FSNamesystem.java:1269) 
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getBlockLocations(FSNamesystem.java:1242) 
at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.getBlockLocations(NameNodeRpcServer.java:392) 
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.getBlockLocations(ClientNamenodeProtocolServerSideTranslatorPB.java:172) 
at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java:44938) 
at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:453) 
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1002) 
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1701) 	
			 2/4   首页 上一页 1 2 3 4 下一页 尾页	
			

　　推荐阅读
　　微信高可用分布式数据库PhxSQL设计与实现
            
            因为MySQL没有供给在重启时的插件接口，为了后续保护便利，在MySQL代码层抽象出了一个新插件接口before_binlog_init用于校准Binlog。【MySQL的容灾缺点总结】    MySQL在容灾方面存在的问>>>详细阅读


本文标题：Hadoop常见错误和处理方式
地址：http://www.17bianji.com/lsqh/34799.html
 1/2    1