网创优客建站品牌官网
为成都网站建设公司企业提供高品质网站建设
热线:028-86922220
成都专业网站建设公司

定制建站费用3500元

符合中小企业对网站设计、功能常规化式的企业展示型网站建设

成都品牌网站建设

品牌网站建设费用6000元

本套餐主要针对企业品牌型网站、中高端设计、前端互动体验...

成都商城网站建设

商城网站建设费用8000元

商城网站建设因基本功能的需求不同费用上面也有很大的差别...

成都微信网站建设

手机微信网站建站3000元

手机微信网站开发、微信官网、微信商城网站...

建站知识

当前位置:首页 > 建站知识

大数据之一:Hadoop安装

一、安装Hadoop

1.先解压hadoop到相关的文件夹中

大数据之一:Hadoop安装

创新互联公司是专业的图们网站建设公司,图们接单;提供做网站、网站制作,网页设计,网站设计,建网站,PHP网站建设等专业做网站服务;采用PHP框架,可快速的进行图们网站开发网页制作和功能扩展;专业做搜索引擎喜爱的网站,专业的做网站团队,希望更多企业前来合作!

2.进入到解压好的文件夹以后,对相关文件进行修改

大数据之一:Hadoop安装

大数据之一:Hadoop安装

3.配置hadoop-env.sh

vi hadoop-env.sh:
export= JAVA_HOME=/opt/inst/jdk181

大数据之一:Hadoop安装

4.配置core-site.xml

vi core-site.xml
        
                fs.defaultFS
                hdfs://bigdata:9000
        
        
                hadoop.tmp.dir
                /opt/hadoopdata
        
        
                hadoop.proxyuser.root.users
                *
        
        
                hadoop.proxyuser.root.groups
                *
        

大数据之一:Hadoop安装

大数据之一:Hadoop安装

5.配置hdfs-site.xml

vi hdfs-site.xml
        
                dfs.replication
                1
        

大数据之一:Hadoop安装

6.配置cp mapred-site.xml.template mapred-site.xml

cp mapred-site.xml.template mapred-site.xml

大数据之一:Hadoop安装

7.vi mapred-site.xml

        
                mapreduce.framework.name
                yarn
        

大数据之一:Hadoop安装

8.vi yarn-site.xml

vi 

大数据之一:Hadoop安装

9.vi /etc/profile

export HADOOP_HOME=/opt/bigdata/hadoop260
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME

大数据之一:Hadoop安装

10.更新并格式化

source  /etc/profile
hdfs namenode -format

大数据之一:Hadoop安装

11.启动

start-all.sh

大数据之一:Hadoop安装

jps
#查看进程

大数据之一:Hadoop安装

大数据之一:Hadoop安装

12.把linux导入到hadoop中

hdfs dfs -put /opt/a.txt  /cm/
hdfs dfs -ls /cm

大数据之一:Hadoop安装

Hadoop理解

三大核心

1.HDFS: Hadoop Distribute File System 分布式文件系统

​ NameNode:主节点,目录

​ DataNode:从节点,数据

​ SecondaryNameNode:主节点的备份

2.YARN:Yet Another Resource Negotiator 资源管理调度系统

​ 调度的是内存的资源和CPU的算力

​ 通过ResourceManager(只有一个) 来调度

​ ResourceManager主要作用:

​ 1.处理客户端请求

​ 2.监控NodeManager

​ 3.启动或监控ApplicationMaster()

​ 4.资源的分配或调度

​ NodeManager(多个)

​ NodeManager主要作用:

​ 1.管理单个节点上的资源

​ 2.处理来自ResourceManager的命令

​ 3.处理来自ApplicationMaster的命令

3.MapReduce:分布式运算框架

​ 运算的

大数据之一:Hadoop安装


分享名称:大数据之一:Hadoop安装
标题网址:http://bjjierui.cn/article/gsscep.html

其他资讯