网创优客建站品牌官网
为成都网站建设公司企业提供高品质网站建设
热线:028-86922220
成都专业网站建设公司

定制建站费用3500元

符合中小企业对网站设计、功能常规化式的企业展示型网站建设

成都品牌网站建设

品牌网站建设费用6000元

本套餐主要针对企业品牌型网站、中高端设计、前端互动体验...

成都商城网站建设

商城网站建设费用8000元

商城网站建设因基本功能的需求不同费用上面也有很大的差别...

成都微信网站建设

手机微信网站建站3000元

手机微信网站开发、微信官网、微信商城网站...

建站知识

当前位置:首页 > 建站知识

Kafka消费者调优

kafka消费速度慢可以尝试以下方法进行调优


1. 根据topic分区数来调整消费者实例数

众所周知,kafka为了保证消息消费顺序topic的每个分区只能被消费者组中一个实例消费。

在广灵等地区,都构建了全面的区域性战略布局,加强发展的系统性、市场前瞻性、产品创新能力,以专注、极致的服务理念,为客户提供网站设计制作、成都网站建设 网站设计制作按需网站制作,公司网站建设,企业网站建设,成都品牌网站建设,成都营销网站建设,外贸营销网站建设,广灵网站建设费用合理。

如果你的topic分区数为36,则可以尝试调整消费者实例数为36,当然这个是消费者ConsumerFactory.concurrency = 1的情况。如果你调整了线程数为n,则你的消费者实例数最优为Math.ceil(36/n)。


2. 开启消费者批量消费

可以把ConcurrentKafkaListenerContainerFactory.setBatchListener(true)开启批量消费,并配置批量消费数ConsumerFactory.MAX_POLL_RECORDS_CONFIG = 100,默认为500


3. 消费者批量消费多线程处理

消费者使用线程池进行批量消费数据。建议不要使用execute,否则容易失控,建议使用submit然后得到future.get,get的时候会等待线程执行完,这种方式会把本次批量消费完再往下消费。

此时线程池的核心线程数就需要根据业务是IO密集型还是CPU密集型来决定,如果是IO密集型线程数可以多设置些,如果是CPU密集型线程数可以根据核心数来决定。


标题名称:Kafka消费者调优
URL地址:http://bjjierui.cn/article/dsdihep.html

其他资讯