Hadoop使用常见问题以及解决方法

Hadoop使用常见问题以及解决方法 1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out Answer：程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。修改办法：修改2个文件。 /etc/security/limits.conf vi /etc/security/limits.conf 加上： * soft nofile 102400 * hard no...

 1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out Answer：程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。修改办法：修改2个文件。 /etc/security/limits.conf vi /etc/security/limits.conf 加上： * soft nofile 102400 * hard nofile 409600 $cd /etc/pam.d/ $sudo vi login 添加 session required /lib/security/pam_limits.so 2：Too many fetch-failures Answer: 出现这个问题主要是结点间的连通不够全面。 1) 检查、/etc/hosts 要求本机ip 对应服务器名要求要包含所有的服务器ip + 服务器名 2) 检查 .ssh/authorized_keys 要求包含所有服务器（包括其自身）的public key 3：处理速度特别的慢出现map很快但是reduce很慢而且反复出现 reduce=0% Answer: 结合第二点，然后修改 conf/hadoop-env.sh 中的export HADOOP_HEAPSIZE=4000 4：能够启动datanode，但无法访问，也无法结束的错误在重新格式化一个新的分布式文件时，需要将你NameNode上所配置的dfs.name.dir这  一namenode用来存放NameNode 持久存储名字空间及事务日志的本地文件系统路径删除，同时将各DataNode上的dfs.data.dir的路径 DataNode 存放块数据的本地文件系统路径的目录也删除。如本此配置就是在NameNode上删除/home/hadoop/NameData，在DataNode上删除/home/hadoop/DataNode1和/home/hadoop/DataNode2。这是因为Hadoop在格式化一个新的分布式文件系统时，每个存储的名字空间都对应了建立时间的那个版本（可以查看/home/hadoop /NameData/current目录下的VERSION文件，上面记录了版本信息），在重新格式化新的分布式系统文件时，最好先删除NameData 目录。必须删除各DataNode的dfs.data.dir。这样才可以使namedode和datanode记录的信息版本对应。注意：删除是个很危险的动作，不能确认的情况下不能删除！！做好删除的文件等通通备份！！ 5：java.io.IOException: Could not obtain block: blk_194219614024901469_1100 file=/user/hive/warehouse/src_20090724_log/src_20090724_log 出现这种情况大多是结点断了，没有连接上。 6：java.lang.OutOfMemoryError: Java heap space 出现这种异常，明显是jvm内存不够得原因，要修改所有的datanode的jvm内存大小。 Java -Xms1024m -Xmx4096m 一般jvm的最大内存使用应该为总内存大小的一半，我们使用的8G内存，所以设置为4096m，这一值可能依旧不是最优的值。 7: Namenode in safe mode 解决方法 bin/hadoop dfsadmin -safemode leave 8:java.net.NoRouteToHostException: No route to host j解决方法： sudo /etc/init.d/iptables stop 9：更改namenode后，在hive中运行select 依旧指向之前的namenode地址这是因为：When youcreate a table, hive actually stores the location of the table (e.g. hdfs://ip:port/user/root/...) in the SDS and DBS tables in the metastore . So when I bring up a new cluster the master has a new IP, but hive's metastore is still pointing to the locations within the old cluster. I could modify the metastore to update with the new IP everytime I bring up a cluster. But the easier and simpler solution was to just use an elastic IP for the master 所以要将metastore中的之前出现的namenode地址全部更换为现有的namenode地址

                    本文档为【Hadoop使用常见问题以及解决方法】，请使用软件OFFICE或WPS软件打开。作品中的文字与图均可以修改和编辑，
                    图片更改请在作品中右键图片并更换，文字修改请直接点击文字进行修改，也可以新增和删除文档中的内容。 
 该文档来自用户分享，如有侵权行为请发邮件ishare@vip.sina.com联系网站客服，我们会及时删除。

                    [版权声明] 本站所有资料为用户分享产生，若发现您的权利被侵害，请联系客服邮件isharekefu@iask.cn，我们尽快处理。

                    本作品所展示的图片、画像、字体、音乐的版权可能需版权方额外授权，请谨慎使用。

                    网站提供的党政主题相关内容(国旗、国徽、党徽..)目的在于配合国家政策宣传，仅限个人学习分享使用，禁止用于任何广告和商用目的。
                

下载需要：免费已有0 人下载

立即下载

Hadoop使用常见问题以及解决方法

你可能还喜欢