全部产品
存储与CDN 数据库 安全 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网 钉钉智能硬件
消息服务

日志导出工具

更新时间:2017-06-07 13:26:11

提供日志导出功能,将保存在OSS的日志导出到阿里云日志服务进行查询、分析。

环境依赖

此工具适用于Python 2.6/2.7 版本,Windows平台和Linux平台均可使用。

使用帮助

1. 准备

如果你已经充分了解阿里云日志服务,并且已创建Project、LogStore以及相关索引,请跳过此步骤。

1.1 开通日志服务

  • 登陆阿里云官网,进入日志服务产品页;
  • 单击 立即开通 开通日志服务;

1.2 创建Project

1.3 创建LogStore

  • 单击Project右侧的 管理 进入管理页面;
  • 单击 创建 进入LogStore创建页面;
  • 单击 取消 关闭提示窗口,因为后面会使用工具导入日志,无需配置logtail;

1.4 创建索引

直接创建默认的索引即可支持大部分查询,如果需要进行更复杂的查询,请参考文档设置其它索引。

2. 使用工具导出日志

此工具无需安装,下载工具包后,解压进入mnslog_export目录。

  • 命令
  1. python2.7 mnslog_export.py --access_id=xxx --access_key=xxx --oss_host=xxx --log_bucket=xxx --sls_project=xxx --sls_logstore=xxx --sls_host=xxx --queue_name=xxx
  • 参数解析
参数名 解析
access_id 阿里云服务使用 AccessKeyID,登陆AccessKey管理页面查看
access_key 阿里云服务使用 AccessKeySecret,登陆AccessKey管理页面查看
oss_host OSS 接入地址,请在控制台 bucket 概览中获得这个参数, 比如杭州地区的地址是:oss-cn-hangzhou.aliyuncs.com
log_bucket 保存MNS日志的 bucket 名称,请在MNS控制台的日志管理页面查看
start_time 导日志的起始时间,比如 201503270102, 表示从2015年3月27号1点02分的日志开始
end_time 导日志的截至时间,不包含该时间,比如201603270302, 表示到2016年3月27号3点02分截止
sls_host sls的接入地址,请从日志服务官网获取,比如杭州地区的地址是: cn-hangzhou.sls.aliyun.com
sls_project 指定日志导入的 sls project 名称,即第 1.2 步中创建的 Project 名称
sls_logstore 指定日志导入 的sls logsotre 名称,即第 1.3 步中创建的logstore名称
queue_name 指定需要导入日志的队列名称,queue_name 和 topic_name 只能选择一个
topic_name 指定需要导入日志的主题名称,queue_name 和 topic_name 只能选择一个
  • 示例

  • 注意事项

    1. 日志服务只支持导入 7天内的日志,如果start_time太早,工具写日志服务提示失败。

    2. 运行完mnslog_export.py成功上传了日志到sls之后,强烈建议等待60s之后再进入sls控制台进行查询检索,否则可能会出现新上传的数据无法检索显示!

3. 查询日志

将日志从 OSS 导入日志服务1分钟后,即可在日志服务的控制台进行查询。

  • 单击 LogStore 右侧的的 查询 进入日志查询页面;
  • 选择合适的时间范围,单击 搜索 将展示时间范围内所有日志;
  • 单击某个MessageId,即可搜索包含该MessageId的所有日志;

下载

准备

  • 此工具需安装protobuf和simplejson,详情参考链接

  • windows环境安装详细指导

第一阶段:安装python以及pip工具

  1. 进入python官网下载(https://www.python.org/downloads/) 2.7版本python安装包,下载完之后进行安装(例如安装到”D:\Python27”目录)。
  2. 鼠标右键我的电脑 -> 属性 -> 点击高级系统设置 -> 点击环境变量 -> 点击PATH -> 在最后面加上我们的Python安装路径 -> 点击确定。
  3. 进入pip官网(https://pypi.python.org/pypi/pip#downloads) 下载pip-8.1.2.tar.gz文件,下载完毕之后解压缩。
  4. 进入windows命令行cmd(windows7及以上版本可以使用更加人性化的Windows PowerShell ISE)界面,进入到pip的解压所目录,运行
    1. python setup.py install
  5. 鼠标右键我的电脑 -> 属性 -> 点击高级系统设置 -> 点击环境变量 -> 点击PATH -> 在最后面加上我们的Python的Scripts目录(本例中为”D:\Python27\Scripts”) -> 点击确定。

第二阶段:使用pip安装必须protobuf和simplejson组件;

  1. 安装protobuf

    1. pip install protobuf
  2. 安装requests

    1. pip install requests
  3. 安装simplejson

    1. pip install simplejson

如果上述命令报超时,连接不上等错误,请进行如下尝试:

a. 进入当前用户的HOME路径 (C:\Users\$username)创建.pip文件夹以及pip.conf文件

b. 打开pip.conf文件输入如下内容:

  1. [global]
  2. index-url = http://pypi.v2ex.com/simple

c. 配置完上述之后,重新运行第二阶段中的安装步骤,建议在命令后带上—default-timeout 100选项。

Version 1.0.0

  • 更新日期: 2016-04-20 下载
  • 功能更新
    • 支持将队列/主题的操作日志从OSS导出到阿里云日志服务进行分析查询;

特别注意

运行完mnslog_export.py成功上传了日志到sls之后,强烈建议等待60s之后再进入sls控制台进行查询检索,否则可能会出现新上传的数据无法检索显示!

本文导读目录