网创优客建站品牌官网
为成都网站建设公司企业提供高品质网站建设
热线:028-86922220
成都专业网站建设公司

定制建站费用3500元

符合中小企业对网站设计、功能常规化式的企业展示型网站建设

成都品牌网站建设

品牌网站建设费用6000元

本套餐主要针对企业品牌型网站、中高端设计、前端互动体验...

成都商城网站建设

商城网站建设费用8000元

商城网站建设因基本功能的需求不同费用上面也有很大的差别...

成都微信网站建设

手机微信网站建站3000元

手机微信网站开发、微信官网、微信商城网站...

建站知识

当前位置:首页 > 建站知识

怎么运行MapReduce

这篇文章主要讲解了“怎么运行MapReduce”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“怎么运行MapReduce”吧!

创新互联建站主要从事网站建设、做网站、网页设计、企业做网站、公司建网站等业务。立足成都服务百色,十余年网站建设经验,价格优惠、服务专业,欢迎来电咨询建站服务:18980820575

运行MapReduce

代码打jar包,不要包含依赖,使用maven的默认打包工具就行

# ls hdfs的目录
hadoop dfs -ls /user/hadoop/
# 删除output 目录
hadoop dfs rm -f -r /user/hadoop/output
# 新建input
hadoop dfs -mkdir -p /user/hadoop/input
# 从本地文件系统copy 数据到hdfs
hadoop dfs -put input_bak/sample.txt /user/hadoop/input
# 运行 mapreduce
hadoop jar hadoopdemo.jar MaxTemperature input/sample.txt output
# 查看结果
hadoop dfs -get /usr/hadoop/output /home/hadoop/
cd /home/hadoop/output
more part-r-00000

##采坑

  • hadoop 2.x hadoop 3.x API变化大,不兼容

  • hadoop 配置 mapred-site.xml

  • 数据文件要上传到hdfs

  • 额,hdfs 常用命令

      (1)查看帮助
          hdfs dfs -help 
      (2)查看当前目录信息
          hdfs dfs -ls /
          
      (3)上传文件
          hdfs dfs -put /本地路径 /hdfs路径
          
      (4)剪切文件
          hdfs dfs -moveFromLocal a.txt /aa.txt
          
      (5)下载文件到本地
          hdfs dfs -get /hdfs路径 /本地路径
          
      (6)合并下载
          hdfs dfs -getmerge /hdfs路径文件夹 /合并后的文件
          
      (7)创建文件夹
          hdfs dfs -mkdir /hello
          
      (8)创建多级文件夹
          hdfs dfs -mkdir -p /hello/world
          
      (9)移动hdfs文件
          hdfs dfs -mv /hdfs路径 /hdfs路径
          
      (10)复制hdfs文件
          hdfs dfs -cp /hdfs路径 /hdfs路径
          
      (11)删除hdfs文件
          hdfs dfs -rm /aa.txt
          
      (12)删除hdfs文件夹
          hdfs dfs -rm -r /hello
          
      (13)查看hdfs中的文件
          hdfs dfs -cat /文件
          hdfs dfs -tail -f /文件
          
      (14)查看文件夹中有多少个文件
          hdfs dfs -count /文件夹
          
      (15)查看hdfs的总空间
          hdfs dfs -df /
          hdfs dfs -df -h /
          
      (16)修改副本数    
          hdfs dfs -setrep 1 /a.txt

感谢各位的阅读,以上就是“怎么运行MapReduce”的内容了,经过本文的学习后,相信大家对怎么运行MapReduce这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是创新互联,小编将为大家推送更多相关知识点的文章,欢迎关注!


文章名称:怎么运行MapReduce
标题来源:http://bjjierui.cn/article/ijhesp.html

其他资讯