网创优客建站品牌官网
为成都网站建设公司企业提供高品质网站建设
热线:028-86922220
成都专业网站建设公司

定制建站费用3500元

符合中小企业对网站设计、功能常规化式的企业展示型网站建设

成都品牌网站建设

品牌网站建设费用6000元

本套餐主要针对企业品牌型网站、中高端设计、前端互动体验...

成都商城网站建设

商城网站建设费用8000元

商城网站建设因基本功能的需求不同费用上面也有很大的差别...

成都微信网站建设

手机微信网站建站3000元

手机微信网站开发、微信官网、微信商城网站...

建站知识

当前位置:首页 > 建站知识

CDH4,lily,hbasesolrindexer增量更新失败的一种情形解决办法

运维监控到消息无法增量更新索引。经定位发现hbase solr indexer未生效。

专注于为中小企业提供网站设计、成都做网站服务,电脑端+手机端+微信端的三站合一,更高效的管理,为中小企业白城免费做网站提供优质的服务。我们立足成都,凝聚了一批互联网行业人才,有力地推动了上1000+企业的稳健成长,帮助中小企业通过网站建设实现规模扩充和转变。

 

以前测试环境下通常是因为这个hbase-solr-indexer进程当掉了造成的。但是这一次不一样。

 

检查sep的impl的源码,发现它是伪装了一个HbaseRegionServer,把自己作为slave,然后借助HBase的replication机制,让log复制过来。它再通过write ahead log获取增量更新内容。

 

猜测是这种机制被断掉了。检查zookeeper

ls /ngdata/sep/hbase-slave/Indexer_morphlines_Test300/rs

发现这个记录

[datanode10.bjpuc1.quanshi.com,50475,1428377032454]

 

检查hbase

ls /hbase/rs

[datanode8.app.company.com,60020,1427557044871,datanode3.app.company.com,60020,1428140476654, datanode6.app.company.com,60020,1427557034896,datanode10.app.company.com,60020,1427557054164,datanode1.app.company.com,60020,1427556940973,datanode7.app.company.com,60020,1427557039934,datanode4.app.company.com,60020,1427557024791, datanode9.app.company.com,60020,1427557048966,datanode2.app.company.com,60020,1427557014498,datanode11.app.company.com,60020,1427557059497,datanode5.app.company.com,60020,1427557029513]

 

 

因此怀疑两者的同步出现问题。于是让君福帮助重建了一次增量更新配置。办法是删除原来的hbase-solr-indexer的配置,再重新add-indexer。

ls/ngdata/sep/hbase-slave/Indexer_morphlines_Test300/rs

[datanode10.app.company.com,2074,1428455398626]

 

问题得到解决。


当前名称:CDH4,lily,hbasesolrindexer增量更新失败的一种情形解决办法
网站URL:http://bjjierui.cn/article/jsdjop.html

其他资讯