网创优客建站品牌官网
为成都网站建设公司企业提供高品质网站建设
热线:028-86922220
成都专业网站建设公司

定制建站费用3500元

符合中小企业对网站设计、功能常规化式的企业展示型网站建设

成都品牌网站建设

品牌网站建设费用6000元

本套餐主要针对企业品牌型网站、中高端设计、前端互动体验...

成都商城网站建设

商城网站建设费用8000元

商城网站建设因基本功能的需求不同费用上面也有很大的差别...

成都微信网站建设

手机微信网站建站3000元

手机微信网站开发、微信官网、微信商城网站...

建站知识

当前位置:首页 > 建站知识

如何进行hue安装以及hivehdfsoozie集成

如何进行hue安装以及hive hdfs oozie集成,相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题。

创新互联建站专注于黄埔网站建设服务及定制,我们拥有丰富的企业做网站经验。 热诚为您提供黄埔营销型网站建设,黄埔网站制作、黄埔网页设计、黄埔网站官网定制、微信小程序服务,打造黄埔网络公司原创品牌,更为您提供黄埔网站排名全网营销落地服务。

[toc]

环境需求

  • jdk

  • maven

  • git

  • 第三方依赖 yum install -y gcc-c++ libxml2-devel.x86_64 libxslt-devel.x86_64 python-devel openldap-devel asciidoc cyrus-sasl-gssapi openssl-devel MySQL-devel sqlite-devel gmp-devel libffi-devel npm 还有缺失什么可自行安装

创建hue用户和用户组

groupadd hue

useradd -g hue hue

切换用户并进入hue根目录

su hue

cd ~

从git上拉取hue源码

git clone https://github.com/cloudera/hue.git

进入hue-master目录并编译

cd hue-master

make apps 需要等待较长时间,若中间还缺少依赖可自行安装

修改hue配置文件

vi /home/hue/hue-master/desktop/conf/pseudo-distributed.ini

时区

[desktop]

time_zone=Asia/Shanghai

用户角色

[desktop]

server_user=hue

server_group=hue

default_user=hue

hdfs配置

[hadoop]

[[hdfs_clusters]]

fs_defaultfs=hdfs://集群名称

webhdfs_url=http://hdfsMaster1:14000/webhdfs/v1

yarn配置

[hadoop]

[[yarn_clusters]]

[[[default]]]

resourcemanager_host=resourcemanager

resourcemanager_api_url=http://resourcemanager:8088

submit_to=True

proxy_api_url=http://172.19.131.104:8088

history_server_api_url=http://172.19.131.104:19888

database配置

(hue数据库先创建好并授予权限给hue用户) [database]

engine=mysql

host=mysqlhost

port=3306

user=hue

password=123456

name=hue

oozie配置(已默认可不配)

[oozie]

remote_data_dir=/user/hue/oozie/workspaces

enable_cron_scheduling=true

enable_document_action=true

liboozie配置

[liboozie]

oozie_url=http://master1:11000/oozie

beeswax配置(hive)

[beeswax]

hive_server_host=172.19.131.107

hive_server_port=10000

数据库初始化

/home/hue/hue-master/build/env/bin/hue syncdb

/home/hue/hue-master/build/env/bin/hue migrate

运行

/home/hue/hue-master/build/env/bin/supervisor

问题解决

若hdfs路径无法访问

在hadoop的core-site配置文件下配置 hadoop.proxyuser.hue.groups=*

hadoop.proxyuser.hue.hosts=*

若hive数据库无法访问

可以在权限管理那里(本人用的是ranger)进行hive的数据库授权

若oozie提交任务执行失败

可查看MapReduce的日志,可能是当前用户无法提交任务配置信息到yarn下的目录

看完上述内容,你们掌握如何进行hue安装以及hive hdfs oozie集成的方法了吗?如果还想学到更多技能或想了解更多相关内容,欢迎关注创新互联行业资讯频道,感谢各位的阅读!


当前标题:如何进行hue安装以及hivehdfsoozie集成
本文链接:http://bjjierui.cn/article/jcpodp.html

其他资讯