网创优客建站品牌官网
为成都网站建设公司企业提供高品质网站建设
热线:028-86922220
成都专业网站建设公司

定制建站费用3500元

符合中小企业对网站设计、功能常规化式的企业展示型网站建设

成都品牌网站建设

品牌网站建设费用6000元

本套餐主要针对企业品牌型网站、中高端设计、前端互动体验...

成都商城网站建设

商城网站建设费用8000元

商城网站建设因基本功能的需求不同费用上面也有很大的差别...

成都微信网站建设

手机微信网站建站3000元

手机微信网站开发、微信官网、微信商城网站...

建站知识

当前位置:首页 > 建站知识

怎样分析kafka数据保存时间问题与kafka的性能测试

怎样分析kafka数据保存时间问题与kafka的性能测试 ,很多新手对此不是很清楚,为了帮助大家解决这个难题,下面小编将为大家详细讲解,有这方面需求的人可以来学习下,希望你能有所收获。

郎溪ssl适用于网站、小程序/APP、API接口等需要进行数据传输应用场景,ssl证书未来市场广阔!成为成都创新互联公司的ssl证书销售渠道,可以享受市场价格4-6折优惠!如果有意向欢迎电话联系或者加微信:18982081108(备注:SSL证书合作)期待与您的合作!

查看kafka的topic情况,bin/kafka-topics.sh --describe --zookeeper hadoop234:2182 --topic test5

怎样分析kafka数据保存时间问题与kafka的性能测试

可以查看replicationfactor的leader,如果broker list中某个节点断掉,则会重选leader

Partition: 分区
Leader : 负责读写指定分区的节点
Replicas : 复制该分区log的节点列表
Isr : "in-sync" replicas,当前活跃的副本列表(是一个子集),并且可能成为Leader。

在producer发送消息的过程中,broker list的某个节点断掉,不会影响消息的发送。

 kafka数据保存时间问题。

   Kafka删除检查主要有两种,任一达到要求即执行。

(1)      按时间粒度,可设置分钟或者小时。达到时间进行处理。

(2)      按文件大小限制,设置最大文件大小,达到上限即进行处理。

可设置文件大小检查周期。


kafka的性能测试

kafka中有自带的性能测试代码,测试结果均来自kafka自带的测试代码 ,位于bin/kafka-producer-perf-test.sh。

         主要参数有以下四个,

messages                生产者发送总的消息数量

message-size             每条消息大小(单位为b)

batch-size                每次批量发送消息的数量

topics                   生产者发送的topic

threads                  生产者使用几个线程同时发送

例如bin/kafka-producer-perf-test.sh --messages 100000 --message-size 1000  --batch-size 10000 --topics test4 --threads 4 --broker-list hadoop234:9092,hadoop237:9092,hadoop238:9092

返回信息为

start.time, end.time, compression, message.size, batch.size, total.data.sent.in.MB, MB.sec, total.data.sent.in.nMsg, nMsg.sec

2015-10-15 18:56:27:542, 2015-10-15 18:56:30:880, 0, 1000, 10000, 95.37, 28.5702, 100000, 29958.0587

可以通过调节参数进行性能测试。

看完上述内容是否对您有帮助呢?如果还想对相关知识有进一步的了解或阅读更多相关文章,请关注创新互联行业资讯频道,感谢您对创新互联的支持。


新闻名称:怎样分析kafka数据保存时间问题与kafka的性能测试
文章来源:http://bjjierui.cn/article/ijchsp.html

其他资讯