网创优客建站品牌官网
为成都网站建设公司企业提供高品质网站建设
热线:028-86922220
成都专业网站建设公司

定制建站费用3500元

符合中小企业对网站设计、功能常规化式的企业展示型网站建设

成都品牌网站建设

品牌网站建设费用6000元

本套餐主要针对企业品牌型网站、中高端设计、前端互动体验...

成都商城网站建设

商城网站建设费用8000元

商城网站建设因基本功能的需求不同费用上面也有很大的差别...

成都微信网站建设

手机微信网站建站3000元

手机微信网站开发、微信官网、微信商城网站...

建站知识

当前位置:首页 > 建站知识

hadoop如何安装部署

这篇文章主要为大家展示了“hadoop如何安装部署”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下“hadoop如何安装部署”这篇文章吧。

创新互联是网站建设专家,致力于互联网品牌建设与网络营销,专业领域包括成都网站建设、成都网站设计、电商网站制作开发、小程序设计、微信营销、系统平台开发,与其他网站设计及系统开发公司不同,我们的整合解决方案结合了恒基网络品牌建设经验和互联网整合营销的理念,并将策略和执行紧密结合,且不断评估并优化我们的方案,为客户提供全方位的互联网品牌整合方案!

一:准备工作 1:准备号JDK环境 2:关闭防火墙 3:selinux disabled 4: ssh安装 5:修改host文件 6:修改hostname

二:下载CDH http://archive.cloudera.com/cdh5/cdh/4/

三:环境变量配置 export JAVA_HOME=/home/bigdata/jdk1.7.0_45
export HADOOP_HOME=/home/hadoop/cdh5.4.0/hadoop-2.0.0-cdh5.4.0
export HADOOP_COMMOM_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HDFS_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_LIB=$HADOOP_HOME/lib
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native

export PATH=$PATH:/etc/haproxy/sbin/:$JAVA_HOME/bin:$JAVA_HOME/jre/bin  
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$HADOOP_LIB/native/libhadoop.so

四:配置文件 core-site.xml

fs.default.name
hdfs://hadoop-001:8020
hadoop.tmp.dir /hadoop/tmp fs.trash.interval 10080 fs.trash.checkpoint.interval 10080 hadoop.proxyuser.hadoop.hosts hadoop-001 hadoop.proxyuser.hadoop.groups hadoop

hdfs-site.xml

dfs.replication 2 dfs.namenode.name.dir file:/hadoop/name ture dfs.datanode.data.dir file:/hadoop/data ture dfs.permissions false dfs.namenode.http-address hadoop-001:50070 dfs.secondary.http.address hadoop-001:50090 dfs.webhdfs.enabled true

yarn-site.xml


yarn.resourcemanager.resource-tracker.address
hadoop-001:18025

yarn.resourcemanager.address
hadoop-001:18040

yarn.resourcemanager.scheduler.address
hadoop-001:18030

yarn.resourcemanager.admin.address
hadoop-001:18141

yarn.resourcemanager.webapp.address
hadoop-001:8088

yarn.nodemanager.aux-services
mapreduce.shuffle

yarn.nodemanager.aux-services.mapreduce.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler

yarn.application.classpath
$HADOOP_CONF_DIR,$HADOOP_COMMON_HOME/share/hadoop/common/,$HADOOP_COMMON_HOME/share/hadoop/common/lib/,$HADOOP_HDFS_HOME/share/hadoop/hdfs/,$HADOOP_HDFS_HOME/share/hadoop/hdfs/lib/,$HADOOP_YARN_HOME/share/hadoop/yarn/,$HADOOP_YARN_HOME/share/hadoop/yarn/lib/

mapred-site.xml

    
       
      mapreduce.framework.name    
      yarn    
      
      
      mapreduce.jobhistory.address    
      hadoop-001:10020    
      
      
      mapreduce.jobhistory.webapp.address    
      hadoop-001:19888    
      
      
      mapreduce.job.tracker    
      hadoop-001:8021    
      ture    
      
      
      mapred.system.dir    
      file:/hadoop/mapred/system    
      ture    
      
      
       mapred.local.dir    
       file:/hadoop/mapred/local    
       ture    
      
        
      mapred.child.env      
      LD_LIBRARY_PATH=/usr/local/lib      
       
      

五:创建号hdfs配置文件中的目录

六:格式化namenode hadoop namenode -format

七: 启动各自服务

以上是“hadoop如何安装部署”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注创新互联行业资讯频道!


分享文章:hadoop如何安装部署
本文路径:http://bjjierui.cn/article/gigjpj.html

其他资讯