网创优客建站品牌官网
为成都网站建设公司企业提供高品质网站建设
热线:028-86922220
成都专业网站建设公司

定制建站费用3500元

符合中小企业对网站设计、功能常规化式的企业展示型网站建设

成都品牌网站建设

品牌网站建设费用6000元

本套餐主要针对企业品牌型网站、中高端设计、前端互动体验...

成都商城网站建设

商城网站建设费用8000元

商城网站建设因基本功能的需求不同费用上面也有很大的差别...

成都微信网站建设

手机微信网站建站3000元

手机微信网站开发、微信官网、微信商城网站...

建站知识

当前位置:首页 > 建站知识

Hadoop初步体验(安装与测试)

简述:Hadoop是最著名使用最广泛的分布式大数据处理框架,它是用Java开发的。

创新互联专业为企业提供抚松网站建设、抚松做网站、抚松网站设计、抚松网站制作等企业网站建设、网页设计与制作、抚松企业网站模板建站服务,10多年抚松做网站经验,不只是建网站,更提供有价值的思路和整体网络服务。

物理主机、虚拟机、虚拟主机这三个就不多说了。我们先在ubuntu里添加一个叫hadoop的用户

1:安装jdk

下载jdk:jdk-7u75-linux-x64.tar.gz

安装jdk:

#切换到root用户 suroot #进入用户编译的目录 cd/usr/local/lib #将jdk压缩包解压到当前路径 tar-zxvf[jdk文件路径]/java-jdk-1.7/jdk-7u75-linux-x64.tar.gz #编辑linux配置文件 gedit/etc/profile #添加如下文字 exportJAVA_HOME=/usr/local/lib/jdk1.7.0_75 exportCLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar exportPATH=$PATH:$JAVA_HOME/bin #保存文件 #将jdk1.7.0_75目录的拥有者改为root组的root用户 chownroot:root-R/usr/local/lib/jdk1.7.0_75 #更改目录和文件的模式 chmod755-R/usr/local/lib/jdk1.7.0_75 #生效 source/etc/profile #测试jdk,这条命令检查jdk安装是否成功。运行这条命令,只要没有报错就表明安装成功了。 java-version

2:在虚拟机中安装hadoop

下载hadoop:hadoop-1.2.1.tar.gz

安装hadoop:

#切换到hadoop用户 suhadoop #进入第三方包目录 cd/opt tar-xvzf[hadoop文件路径]/hadoop-1.2.1.tar.gz #进入hadoop目录,配置几个文件 #core-site.xml fs.default.name hdfs://localhost:9000 #mapred-site.xml mapred.job.tracker localhost:9001 #hdfs-site.xml dfs.replication 1 #在hadoop-env.sh文件里添加如下一条语句: exportJAVA_HOME=/usr/local/lib/jdk1.7.0_75

3:安装rsync和ssh

sudoapt-getinstallsshrsync ssh-keygen-tdsa-f~/.ssh/id_dsa cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys sshlocalhost

4:启动hadoop

#进入hadoop目录 cd/opt/hadoop-1.2.1 #格式化hadoop_namenode ./bin/hadoopnamenode-format #启动hadoop所有节点 ./bin/start-all.sh

5:测试(词频统计)

#进入hadoop目录 cd/opt/hadoop-1.2.1 #将当前目录下的README.txt放到hadoop进行测试 ./bin/hadoopfs-putREADME.txtreadme.txt #运行hadoop的examples的wordcount,测试hadoop的执行。 ./bin/hadoopjarhadoop-examples-1.2.1.jarwordcountreadme.txtoutput #这条命令查看处理结果 ./bin/hadoopfs-catoutput/part-r-00000


文章标题:Hadoop初步体验(安装与测试)
网站网址:http://bjjierui.cn/article/cphsid.html

其他资讯