网创优客建站品牌官网
为成都网站建设公司企业提供高品质网站建设
热线:028-86922220
成都专业网站建设公司

定制建站费用3500元

符合中小企业对网站设计、功能常规化式的企业展示型网站建设

成都品牌网站建设

品牌网站建设费用6000元

本套餐主要针对企业品牌型网站、中高端设计、前端互动体验...

成都商城网站建设

商城网站建设费用8000元

商城网站建设因基本功能的需求不同费用上面也有很大的差别...

成都微信网站建设

手机微信网站建站3000元

手机微信网站开发、微信官网、微信商城网站...

建站知识

当前位置:首页 > 建站知识

Hive中怎么通过外部表操作Hbase数据

Hive中怎么通过外部表操作Hbase数据,很多新手对此不是很清楚,为了帮助大家解决这个难题,下面小编将为大家详细讲解,有这方面需求的人可以来学习下,希望你能有所收获。

网站建设哪家好,找创新互联公司!专注于网页设计、网站建设、微信开发、重庆小程序开发、集团企业网站建设等服务项目。为回馈新老客户创新互联还提供了开福免费建站欢迎大家使用!

概述:

HBase:

    查询效率比较高,常为实时业务提供服务,但是其查询方式比较单一,只能通过row方式get单条数据,或者通过scan加过滤器的方式扫描数据表获取数据。

Hive:

    hive用来存储结构化数据,常用来搭建数据仓库作为离线分析的数据存储,支持HQL操作,但是对于复杂HQL都会转化成mapreduce任务,执行比较慢。

    有时候我们数据存在HBase中,但是需要通过sql语句来操作hbase表数据,我们一般使用Hive外部表操作HBase数据。

大体步骤如下:

1.拷贝依赖包

    将Hive操作HBase依赖的几个包拷贝到Hive安装目录下的lib下(每个hive节点都要执行拷贝):

  /usr/lib/hive/lib/zookeeper.jar; 

   /usr/lib/hive/lib/hbase.jar; 

  /usr/lib/hive/lib/hive-hbase-handler-X.X.X.jar 

   /usr/lib/hive/lib/guava-11.0.2.jar;

2.HBase操作

登录hbase shell控制台,新建hbase表ljs:student(ljs是命名空间,student是表名)

执行命令:

create_namespace 'ljs'

 create 'ljs:student','info'        

Hive中怎么通过外部表操作Hbase数据

查看表结构:

 !desc  'ljs:student'

Hive中怎么通过外部表操作Hbase数据

向HBase表插入数据:

    put 'ljs:student','1001','info:name','ljs1001'

    put 'ljs:student','1001','info:age','21'

    put 'ljs:student','1001','info:score','89'

    put 'ljs:student','2001','info:name','ljs1002'

    put 'ljs:student','2001','info:age','24'

    put 'ljs:student','2001','info:score','78'

查看表数据:

Hive中怎么通过外部表操作Hbase数据

3.Hive操作

执行/usr/hdp/2.6.3.0-235/hive/bin/hive登录到hive控制台

Hive中怎么通过外部表操作Hbase数据

新建hive数据表:

create external table hive_student(user_no string,user_name string,user_age string,user_score string) stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' with serdeproperties  ("hbase.columns.mapping" = ":key,info:name,info:age,info:score") tblproperties("hbase.table.name" = "ljs:student");

Hive中怎么通过外部表操作Hbase数据

查询hive表,可查看hbase映射表中对应的数据:

Hive中怎么通过外部表操作Hbase数据

至此Hive操作HBase表数据完成。

注意:

1.hive中建hbase映射表时,建表语句中关键字“hbase.columns.mapping”后面的对应映射字段要与HBase表字段大小写一致。否则可能映射失败。

看完上述内容是否对您有帮助呢?如果还想对相关知识有进一步的了解或阅读更多相关文章,请关注创新互联行业资讯频道,感谢您对创新互联的支持。


网页标题:Hive中怎么通过外部表操作Hbase数据
链接地址:http://bjjierui.cn/article/jgecjc.html

其他资讯