网创优客建站品牌官网
为成都网站建设公司企业提供高品质网站建设
热线:028-86922220
成都专业网站建设公司

定制建站费用3500元

符合中小企业对网站设计、功能常规化式的企业展示型网站建设

成都品牌网站建设

品牌网站建设费用6000元

本套餐主要针对企业品牌型网站、中高端设计、前端互动体验...

成都商城网站建设

商城网站建设费用8000元

商城网站建设因基本功能的需求不同费用上面也有很大的差别...

成都微信网站建设

手机微信网站建站3000元

手机微信网站开发、微信官网、微信商城网站...

建站知识

当前位置:首页 > 建站知识

使用Mtools分析MongoDB日志文件

一 Mtools介绍

创新互联长期为上1000家客户提供的网站建设服务,团队从业经验10年,关注不同地域、不同群体,并针对不同对象提供差异化的产品和服务;打造开放共赢平台,与合作伙伴共同营造健康的互联网生态环境。为呈贡企业提供专业的成都做网站、成都网站建设、成都外贸网站建设呈贡网站改版等技术服务。拥有十年丰富建站经验和众多成功案例,为您定制开发。

  mtools是一组用来解析和过滤MongoDB日志文件的脚本。mtools包括以下几个工具:

  mlogfilter    可以根据时间切割日志文件,过滤慢查询等

  mloginfo      返回日志文件信息,比如开始和结束时间等

  mplotqueries   对日志文件进行视图展现

  mlogvis      创建一个自定义html文件交互式展现

  mlaunch      快速搭建本地测试环境,包括复制集合分片系统

  mtools是用python写的,需要python2.6或者python2.7,目前不兼容python3

二 Mtools使用

1.安装mtools

 可以使用pip直接安装mtools

 yum install python-devel

 pip install numpy

 pip install python-matplotlib

 pip install mtools

或者直接下载安装

 

wget https://pypi.python.org/packages/25/fe/c9375c462c9f0592407695bb5ce784866ce7b5336b8d66141e1f3250cf1f/mtools-1.2.2.tar.gz
tar zxvf mtools-1.2.2.tar.gz
python setup.py install

2.mlogfilter

mlogfilter用于解析日志,如果有多个日志文件,mlogfilter按照时间戳合并

mlogfilter mongod.log --slow --json | mongoimport -d test -c mycoll

分析慢查询并以json格式导出并导入到test库的mycoll集合中

mlogfilter /opt/logs/mongodb/*.log --slow  --json

查看某个库的某个集合的慢查询, --slow可以指定慢查询时间为多少毫秒

mlogfilter mongod.log --namespace admin.\$cmd --slow 1000

查看某一个操作类型的慢查询,一次只能指定一个操作类型,可以是query,insert,update,delete,command,getmore

mlogfilter /opt/logs/mongodb/*.log --slow  1000  --namespace order.bill   --operation query

根据某一个线程的查看慢查询

mlogfilter /opt/logs/mongodb/*.log --slow  1000  --namespace order.bill   --operation query  --thread conn1317475

--parttern P  根据匹配条件查询日志

mlogfilter mongod.log --pattern '{"_id": 1, "host": 1, "ns": 1}

这里需要注意的是,字段名称必须用双引号包围

根据关键字过滤日志

mlogfilter mongod.log --word assert warning error

根据时间范围进行日志搜索

返回所有9月份的日志

mlogfilter mongod.log --from Sep

返回5分钟之前的日志

mlogfilter mongod.log --from "now -5min"

返回当天00:00:00 到当天02:00:00 的日志

mlogfilter mongod.log --from today --to +2hours

返回当天从9:30开始的日志

mlogfilter mongod.log --from today 9:30

3.mloginfo

mloginfo可以包括日志文件的相关信息

显示日志的查询统计信息

mloginfo mongod.log --queries

对结果进行排序

mloginfo mongod.log --queries --sort count
mloginfo mongod.log --queries --sort sum

显示重启信息

mloginfo mongod.log --restarts

分类显示日志消息

mloginfo mongod.log --distinct

显示连接信息

mloginfo mongod.log --connections

显示复制集信息

mloginfo mongod.log --rsstate

4.mplotqueries

mplotqueries是一个可以可视化MongoDB日志文件中的操作的工具。

-- group GROUP

group参数指定数据根据什么分组然后每组一个种颜色绘制成各种图表,默认是散点分布图

GROUP可以的值有

namespace  

filename

operation

thread

log2code

pattern

mplotqueries mongod.log --group operation

创建一个散点分布图

使用Mtools分析MongoDB日志文件

mlogfilter mongod.log --operation update --namespace test.users |
  mplotqueries --type histogram --group "_id: ObjectId\('([^']+)'\)"

mlogfilter先过滤所有test.users的update操作,然后根据_id分组绘制直方图

如果groups的数量太大,可以使用 --group-limit 限制前几个分组

使用Mtools分析MongoDB日志文件

mplotqueries mongod.log --type range --group log2code --group-limit 10

使用Mtools分析MongoDB日志文件

--type scatter(default)

参考文档:

https://github.com/rueckstiess/mtools


文章名称:使用Mtools分析MongoDB日志文件
网页链接:http://bjjierui.cn/article/pgsssh.html

其他资讯