网创优客建站品牌官网
为成都网站建设公司企业提供高品质网站建设
热线:028-86922220
成都专业网站建设公司

定制建站费用3500元

符合中小企业对网站设计、功能常规化式的企业展示型网站建设

成都品牌网站建设

品牌网站建设费用6000元

本套餐主要针对企业品牌型网站、中高端设计、前端互动体验...

成都商城网站建设

商城网站建设费用8000元

商城网站建设因基本功能的需求不同费用上面也有很大的差别...

成都微信网站建设

手机微信网站建站3000元

手机微信网站开发、微信官网、微信商城网站...

建站知识

当前位置:首页 > 建站知识

如何使用Fluentd+MongoDB采集Apache日志

这篇文章给大家介绍如何使用Fluentd+MongoDB采集Apache日志,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。

禅城网站建设公司创新互联,禅城网站设计制作,有大型网站制作公司丰富经验。已为禅城近1000家提供企业网站建设服务。企业网站搭建\成都外贸网站建设公司要多少钱,请找那个售后服务好的禅城做网站的公司定做!

我们今天介绍一个组合:Fluentd+MongoDB,用以实时收集半结构化数据。

  1. 背景知识
  2. 日志接入Fluentd后,会以json的格式在Fluentd内部进行路由。这就决定了Fluentd处理日志的方式是非常灵活的,它将日志视为半结构化数据,可以方便地修改其结构。
    相应地,日志的最终存储数据库也应该擅长处理这样的半结构或者非结构化数据。这样整个系统搭配起来才更协调和高效。  
     
    而MongoDB恰好也是以类json的方式来处理内部数据的,非常适合作为Fluentd的目标存储。  
        
     
  3. 实现机制
    我们通常以下列架构来组合Fluentd+MongoDB这对CP。
    如何使用Fluentd+MongoDB采集Apache日志  
    在这个组合中,Fluentd的职责为:
    1. 持续“tail”Apache访问日志
    2. 将Apache日志文本解析为有意义的字段(如ip、path等),并缓存之
    3. 定期将缓存的日志写入MongoDB

  4. 安装部署
    1. 安装Apache、MongoDB
    2. 安装Fluentd
    3. 在Fluentd中安装MongoDB插件(最新版Fluentd已内置)
      fluent-gem install fluent-plugin-mongo

    接下来就是配置的事了。

  5. 配置说明
    1. 首先配置输入端
        @type tail  path /var/log/apache2/access_log  pos_file /var/log/td-agent/apache2.access_log.pos      @type apache2    tag mongo.apache.access
      使用tail来追踪Apache的日志文件access_log,使用Fluentd内置的Apache日志解析器apache2来解析日志。日志事件tag为mongo.apache.access。    
    2. 再配置输出端
        # plugin type  @type mongo
       # mongodb db + collection  database apache  collection access
       # mongodb host + port  host localhost  port 27017
       # interval      flush_interval 10s  
       # make sure to include the time key      time_key time  
      匹配所有mongo开头的tag,使用out_mongo作为输出插件。依次配置日志存储在MongoDB中的数据库和集合、MongoDB地址和端口。设置flush间隔为10秒,每10秒将缓存的日志写入MongoDB。    
             
  6. 测试验证
    确保各服务正常运行。
    我们通过ping Apache来制造一些测试数据。
    $ ab -n 100 -c 10 http://localhost/
     
然后,在MongoDB中就可以看到这些日志了。
$ mongo> use apache> db["access"].findOne();{ "_id" : ObjectId("4ed1ed3a340765ce73000001"), "host" : "127.0.0.1", "user" : "-", "method" : "GET", "path" : "/", "code" : "200", "size" : "44", "time" : ISODate("2011-11-27T07:56:27Z") }{ "_id" : ObjectId("4ed1ed3a340765ce73000002"), "host" : "127.0.0.1", "user" : "-", "method" : "GET", "path" : "/", "code" : "200", "size" : "44", "time" : ISODate("2011-11-27T07:56:34Z") }{ "_id" : ObjectId("4ed1ed3a340765ce73000003"), "host" : "127.0.0.1", "user" : "-", "method" : "GET", "path" : "/", "code" : "200", "size" : "44", "time" : ISODate("2011-11-27T07:56:34Z") }

关于如何使用Fluentd+MongoDB采集Apache日志就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。


当前名称:如何使用Fluentd+MongoDB采集Apache日志
标题链接:http://bjjierui.cn/article/geogdc.html

其他资讯