网创优客建站品牌官网
为成都网站建设公司企业提供高品质网站建设
热线:028-86922220
成都专业网站建设公司

定制建站费用3500元

符合中小企业对网站设计、功能常规化式的企业展示型网站建设

成都品牌网站建设

品牌网站建设费用6000元

本套餐主要针对企业品牌型网站、中高端设计、前端互动体验...

成都商城网站建设

商城网站建设费用8000元

商城网站建设因基本功能的需求不同费用上面也有很大的差别...

成都微信网站建设

手机微信网站建站3000元

手机微信网站开发、微信官网、微信商城网站...

建站知识

当前位置:首页 > 建站知识

haoop任务失败,修改代码设置解决问题

一、跑etl任务,报错:
Container [pid=31306,containerID=container_1479290736535_0004_01_000003] is running beyond physical memory limits. Current usage: 2.7 GB of 2.5 GB physical memory used; 4.4 GB of 7.5 GB virtual memory used. Killing container.

创新互联是一家集网站建设,大理州企业网站建设,大理州品牌网站建设,网站定制,大理州网站建设报价,网络营销,网络优化,大理州网站推广为一体的创新建站企业,帮助传统企业提升企业形象加强企业竞争力。可充分满足这一群体相比中小企业更为丰富、高端、多元的互联网需求。同时我们时刻保持专业、时尚、前沿,时刻以成就客户成长自我,坚持不断学习、思考、沉淀、净化自己,让我们为更多的企业打造出实用型网站。

发现是一个小时任务打开了太多文件(大约7000多个,每个进程占用的buffer太多,导致内存不足)

解决办法:
修改程序设置,
"orc.strip.size":1024*1024,
"orc.block.size":16*1024*1024,
"orc.row.index.stride":500,
"orc.compress.size":8*1024,

二、nodemanager自动关闭又恢复的问题:
2016-08-19 14:57:19,027 WARN org.apache.hadoop.yarn.server.nodemanager.DirectoryCollection: Directory /opt/amos/data/hadoop/yarn-local error, used space above threshold of 90.0%, removing from list of valid directories
2016-08-19 14:57:19,027 WARN org.apache.hadoop.yarn.server.nodemanager.DirectoryCollection: Directory /opt/amos/data/hadoop/yarn-log error, used space above threshold of 90.0%, removing from list of valid directories

10分钟后nodemanager又恢复了,什么问题呢?
[root@~]# vim /opt/amos/conf/hadoop/yarn-site.xml 

Interval in between cache cleanups.
yarn.nodemanager.localizer.cache.cleanup.interval-ms
600000

本地磁盘才30G,yarn的cache设置为40G,导致问题出现。
[root@~]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/sda1 30G 25G 3.9G 87% /

解决方法:把yarn的缓存设置为20G
[root@~]# vim /opt/amos/conf/hadoop/yarn-site.xml 

yarn.nodemanager.localizer.cache.target-size-mb
20480

三、hadoop 反复提交任务,但是失败,原因是需要将map和reduce使用的内存大小修改为jvm的1.5倍数

mapred.child.java.opts -Xmx2048M -Xms8M             2048*1.5=3172

mapreduce.map.memory.mb 1536 mapred-site.xml     改为3172

mapreduce.reduce.memory.mb 2048                         改为3172


文章题目:haoop任务失败,修改代码设置解决问题
分享链接:http://bjjierui.cn/article/gjggie.html

其他资讯