网创优客建站品牌官网
为成都网站建设公司企业提供高品质网站建设
热线:028-86922220
成都专业网站建设公司

定制建站费用3500元

符合中小企业对网站设计、功能常规化式的企业展示型网站建设

成都品牌网站建设

品牌网站建设费用6000元

本套餐主要针对企业品牌型网站、中高端设计、前端互动体验...

成都商城网站建设

商城网站建设费用8000元

商城网站建设因基本功能的需求不同费用上面也有很大的差别...

成都微信网站建设

手机微信网站建站3000元

手机微信网站开发、微信官网、微信商城网站...

建站知识

当前位置:首页 > 建站知识

修改hadoop脚本改变CLASSPATH中jar加载顺序

    先说一下环境,有两个集群,一个新的一个旧的,打算把新的调试好然后把旧的关掉。

创新互联建站专注于企业全网整合营销推广、网站重做改版、南明网站定制设计、自适应品牌网站建设、H5开发成都商城网站开发、集团公司官网建设、成都外贸网站建设公司、高端网站制作、响应式网页设计等建站业务,价格优惠性价比高,为南明等各大城市提供网站开发制作服务。

    新:Cloudera Express 5.6.0,CDH-5.6.0

    旧: Cloudera Express 5.0.5,CDH-5.0.5

    新集群搭建过程中发现一个问题,执行以下命令对lzo文件创建索引,在新集群中job无法提交到指定队列,同样的命令在旧集群中正常:

     hadoop jar hadoop-lzo.jar com.hadoop.compression.lzo.DistributedLzoIndexer  -D mapreduce.job.queuename=copy  /data/lzodata/

    两个集群的配置区别在于,旧集群lzo的配置一个是手动的,新集群是用GPLEXTRAS的parcel包配置的。

用GPLEXTRAS配置的新集群默认吧lzo的jar包加载到hadoop  classpath路径中了,导致的结果是DistributedLzoIndexer  提交不到正确的队列。

    因为新版版的hadoop-lzo.jar中

    com.hadoop.compression.lzo.DistributedLzoIndexer 修改了获取Configuration的方式

     Configuration conf = new Configuration();                                                  Job job = new Job(conf );   

    旧版本中为

    Job job = new Job(getConf());                                                              

    修改了源码,然后重新上传到提交job的服务器,只在提交job的时候起作用。                                                  

    修改脚本的位置,修改前请做好备份:

    /opt/cloudera/parcels/CDH-5.6.0-1.cdh6.6.0.p0.45/lib/hadoop/bin

    修改脚本中 export CLASSPATH=/opt/cloudera/userlib/hadoop-lzo.jar:$CLASSPATH

    上面的/opt/cloudera/userlib/hadoop-lzo.jar为想要加载的路径


分享文章:修改hadoop脚本改变CLASSPATH中jar加载顺序
标题来源:http://bjjierui.cn/article/gcseid.html

其他资讯