网创优客建站品牌官网
为成都网站建设公司企业提供高品质网站建设
热线:028-86922220
成都专业网站建设公司

定制建站费用3500元

符合中小企业对网站设计、功能常规化式的企业展示型网站建设

成都品牌网站建设

品牌网站建设费用6000元

本套餐主要针对企业品牌型网站、中高端设计、前端互动体验...

成都商城网站建设

商城网站建设费用8000元

商城网站建设因基本功能的需求不同费用上面也有很大的差别...

成都微信网站建设

手机微信网站建站3000元

手机微信网站开发、微信官网、微信商城网站...

建站知识

当前位置:首页 > 建站知识

hadoop2.6的配置及优化方法

这篇文章主要介绍“hadoop2.6的配置及优化方法”,在日常操作中,相信很多人在hadoop2.6的配置及优化方法问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”hadoop2.6的配置及优化方法”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!

创新互联是一家专注于网站制作、做网站与策划设计,拜泉网站建设哪家好?创新互联做网站,专注于网站建设十多年,网设计领域的专业建站公司;建站业务涵盖:拜泉等地区。拜泉做网站价格咨询:028-86922220

1.vi /opt/hadoop-2.6.0/etc/hadoop/hadoop-env.sh 

 export JAVA_HOME=/opt/jdk1.7.0_75

2.vi /opt/hadoop-2.6.0/etc/hadoop/core-site.xml 

 
 fs.default.name
 hdfs://spore:9000
 

注:spore为机器的hostname

 
 
 hadoop.native.lib
 true
 

 


dfs.permissions
false

 


hadoop.tmp.dir
/opt/hadoop-2.6.0/tmp

3.vi /opt/hadoop-2.6.0/etc/hadoop/hdfs-site.xml

 
 
 dfs.replication
 1
 

4.vi /opt/hadoop-2.6.0/etc/hadoop/mapred-site.xml


mapreduce.framework.name
yarn

5.vi /opt/hadoop-2.6.0/etc/hadoop/slaves

添加slave的hostname

优化:

尽量使用combiner减少键值对数目,本地合并键值对,减少网络传输,优化效果明显

调大mapreduce中间结果缓存的内存

巧用复合键让系统完成排序,不必要自己实现排序

到此,关于“hadoop2.6的配置及优化方法”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注创新互联网站,小编会继续努力为大家带来更多实用的文章!


新闻标题:hadoop2.6的配置及优化方法
文章位置:http://bjjierui.cn/article/gejsip.html

其他资讯