网创优客建站品牌官网
为成都网站建设公司企业提供高品质网站建设
热线:028-86922220
成都专业网站建设公司

定制建站费用3500元

符合中小企业对网站设计、功能常规化式的企业展示型网站建设

成都品牌网站建设

品牌网站建设费用6000元

本套餐主要针对企业品牌型网站、中高端设计、前端互动体验...

成都商城网站建设

商城网站建设费用8000元

商城网站建设因基本功能的需求不同费用上面也有很大的差别...

成都微信网站建设

手机微信网站建站3000元

手机微信网站开发、微信官网、微信商城网站...

建站知识

当前位置:首页 > 建站知识

如何进行flume1.6.0和kafka整合

本篇文章为大家展示了如何进行flume1.6.0 和kafka整合,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。

目前创新互联公司已为近1000家的企业提供了网站建设、域名、网页空间、网站托管维护、企业网站设计、博州网站维护等服务,公司将坚持客户导向、应用为本的策略,正道将秉承"和谐、参与、激情"的文化,与客户和合作伙伴齐心协力一起成长,共同发展。

一、启动kafka,使用默认配置

    ①启动zookeeper,bin/-server-start.sh -daemon config/server.properties 

    ②启动kafka:bin/kafka-server-start.sh -daemon config/server.properties 

     ③创建主题:bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic spider

     ④启动消费者:bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic spider --from-beginning

二、配置flume并启动

    flume的详细配置可以看我前面的关于flume的详细配置

    将flume(1.6.0,自定义sink会在后面博客补充)的sink改为:

    agent1.sinks.log-sink1.channel = ch2
    agent1.sinks.log-sink1.type = org.apache.flume.sink.kafka.KafkaSink
    agent1.sinks.log-sink1.topic = spider
    agent1.sinks.log-sink1.brokerList = 192.168.57.133:9092
    agent1.sinks.log-sink1.requiredAcks = 1
    agent1.sinks.log-sink1.batchSize = 1
    启动flume

三、测试

    这里的测试类还是使用上一次log4j整合flume的例子,运行测试类,如果看到下面输出,则表示整合成功

    如何进行flume1.6.0 和kafka整合

上述内容就是如何进行flume1.6.0 和kafka整合,你们学到知识或技能了吗?如果还想学到更多技能或者丰富自己的知识储备,欢迎关注创新互联行业资讯频道。


本文名称:如何进行flume1.6.0和kafka整合
当前网址:http://bjjierui.cn/article/pdipdg.html

其他资讯