网创优客建站品牌官网
为成都网站建设公司企业提供高品质网站建设
热线:028-86922220
成都专业网站建设公司

定制建站费用3500元

符合中小企业对网站设计、功能常规化式的企业展示型网站建设

成都品牌网站建设

品牌网站建设费用6000元

本套餐主要针对企业品牌型网站、中高端设计、前端互动体验...

成都商城网站建设

商城网站建设费用8000元

商城网站建设因基本功能的需求不同费用上面也有很大的差别...

成都微信网站建设

手机微信网站建站3000元

手机微信网站开发、微信官网、微信商城网站...

建站知识

当前位置:首页 > 建站知识

windows搭建hadoop环境(解决HADOOP-创新互联

一、软件安装

1、JDK1.8
链接:https://pan.baidu.com/s/1jqqWb-3JNMDW3DbvibYlJQ?pwd=agoi
提取码:agoi
2、hadoop-3.1.3版本
链接:https://pan.baidu.com/s/1cRkMc7LHPpza7n2oWqyLGw?pwd=ecid
提取码:ecid
3、winutils-master 3.1.1版本下载(windows下运行hadoop必须要下载这个!这个版本可以适用于hadoop3.1.x)
链接:https://pan.baidu.com/s/1K8i7opaqK4Ut76lU4yBcRQ?pwd=a6hh
提取码:a6hh

创新互联公司于2013年成立,先为广信等服务建站,广信等地企业,进行企业商务咨询服务。为广信企业网站制作PC+手机+微官网三网同步一站式服务解决您的所有建站问题。

如果是hadoop其他版本,点击进入官网下载
*配套的winutils-master其他版本,网盘下载:
链接:https://pan.baidu.com/s/1jJthV7h-ynjk4MH6algIzg?pwd=p4aw
提取码:p4aw
*


java环境变量需要先配置,不过本文不做讲解,不会的自行百度。

二、hadoop环境配置

1、先解压下载好的winutils-master,进入bin目录,将winutils.exe和hadoop.dll复制到hadoop-3.1.3\bin下
在这里插入图片描述
在这里插入图片描述

2、然后将hadoop.dll复制到C:\Windows\System32中 否则 会报Exception in thread "main"java.lang.UnsatisfiedLinkError:org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
在这里插入图片描述

3、配置hadoop环境变量,新建HADOOP_HOME
在这里插入图片描述

4、添加到path路径,%HADOOP_HOME%\bin;
在这里插入图片描述

5、打开cmd,输入hadoop version
在这里插入图片描述
如果出现上面的情况,则修改hadoop-env.cmd中的

JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_111

PS:因为Program Files中存在空格,若是直接使用会出现错误,可以进行如下处理: 只需要用PROGRA~1 代替Program Files,即改为C:\PROGRA~1\Java\jdk1.8.0_111
在这里插入图片描述
在这里插入图片描述

再次在cmd中输入hadoop version
在这里插入图片描述
这样就成功了


为什么要在windows上配置hadoop环境呢?因为想跑一个wordcount案例,如果打成jar包放到yarn上面跑,调试比较费时间。

以上可以解决下面这两个错误:
1、HADOOP_HOME and hadoop.home.dir are unset
2、org.apache.hadoop.io.nativeio.NativeIO$POSIX.stat(Ljava/lang/String;)Lorg/ap

如果还是报错,以下是解决错误的方法:

1.重启idea!是的,我重启后就不报错了
2.D:\hadoop-3.1.3/bin/winutils.exe 和hadoop.dll是不是和你正在使用的hadoop版本匹配

我的问题就是这个原因,我直接把官网上面下载回来的hadoop-3.1.3.tar.gz直接解压,然后随便去网上下载了winutils.exe和hadoop.dll丢进去bin目录(版本是3.0的),一运行就报错了 ,换成相同版本的winutils.exe,再重复以上1、2步骤,复制到bin目录下。

所以一定要和hadoop的版本匹配才行!(用我提供的版本是没有问题的)

3.如果还没有解决,就多参考其他文章,或者留言

你是否还在寻找稳定的海外服务器提供商?创新互联www.cdcxhl.cn海外机房具备T级流量清洗系统配攻击溯源,准确流量调度确保服务器高可用性,企业级服务器适合批量采购,新人活动首月15元起,快前往官网查看详情吧


网站标题:windows搭建hadoop环境(解决HADOOP-创新互联
网页地址:http://bjjierui.cn/article/hgspd.html

其他资讯