全部产品
弹性计算 会员服务 网络 安全 移动云 数加·大数据分析及展现 数加·大数据应用 管理与监控 云通信 阿里云办公 培训与认证 智能硬件
存储与CDN 数据库 域名与网站(万网) 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网 更多
业务实时监控服务 ARMS

实例教程:创建一个自定义监控任务

更新时间:2018-06-13 09:48:43

本文以一个实例介绍了如何创建一个自定义监控任务。

前提条件

首次使用 ARMS 时,ARMS 会从日志流的尾部开始抓取日志进行处理。因此,请保证您的脚本或程序能够持续不断地输出日志。

目前 ARMS 支持 StartAgent 日志源、鹊桥数据源、MQ 数据源。本文以 StartAgent 数据源为例。您需要在服务器上使用任意客户端生成文本格式的日志文件流。

在本实例中,我们在服务器的 /home/admin/logs/arms/test.log 中产生以下日志流:

  1. 2016-07-27 23:37:23|c0a895e114526786450161001d1ed9|9|EADS|BIZ-MONITOR|0|类目=女装&区域=上海&eventTeyp=3&性别=0&价格=20|iZ28ql4lx29Z
  2. 2016-07-27 23:37:23|c0a895e114526786450161001d1ed9|9|EADS|BIZ-MONITOR|0|类目=童装&区域=深圳&eventTeyp=3&性别=1&价格=30|iZ28ql4lx29Z

这是一个简化版的交易系统日志流,日志的每一行代表一条交易记录。以”|”分隔的各个字段分别表示交易成交时间、交易 ID、交易详细信息等。

背景信息

阅读本文后,您将了解到如何:

  • 使用服务器上的日志文件流作为监控的数据源。
  • 配置日志清洗方式、数据集和报警。
  • 配置交互式数据大盘。

操作步骤

A. 接入数据源

  1. 在控制台左侧菜单栏中选择自定义监控 > 监控任务管理。 监控任务管理页面打开。
  2. 在监控任务管理页面,在右上角选择新建监控任务 > 新建自定义监控,然后在新建自定义任务对话框中输入监控任务名称,并单击新建并进行配置。 数据源配置页面打开。
  3. 在数据源配置页面,输入所有必填信息。

    1. 日志源类型下拉框中选择 StarAgent
    2. 日志路径文本框中输入日志路径 /home/admin/logs/arms/test.log。
    3. 采集目标文本框中输入目标机器的 IP 地址 10.36.25.98。
    4. 编码设置下拉框中选择自动探测
  4. 单击右上角的日志抓取预览

    Note: ARMS 会从选择的机器日志中抓取部分数据(最多 20 条)。由于需要建立预抓取的临时通道,一般需要 30 秒左右。

    日志抓取结果显示在预览窗口中。如果抓取不成功,请检查配置的日志路径和采集目标。

  5. 在数据源配置页面单击保存下一步。 日志清洗页面打开。

B. 清洗日志

  1. 在日志清洗页面上,单击智能切分标签页上的获取方案

    Tip: ARMS 目前提供智能切分和自定义切分两种清洗方式。在本例中,由于日志格式比较简单,使用智能切分即可清洗出需要的键值对。

    智能切分器正确地判断出了样例日志是以“|”分隔的,并按照这个规则自动切分出了 _line_gen_0、_line_gen_1 等字段,其中_line_gen_6 字段是 KV 字符串,字符串内的字段也被自动切分出来了。

  2. 在日志清洗页面单击保存下一步。 数据集与报警配置页面打开。

C. 配置数据集

  1. 数据集设置区域单击添加数据集

    添加数据集对话框打开。

  2. 在添加数据集对话框输入相关信息,单击保存。 示例 1:统计每分钟订单数量

    因为每一行日志代表一个订单记录,所以只需要统计日志行数即可,即对 _line 进行 COUNT 运算。

    示例 2:统计每种类目的销售额

    选择下钻维度“类目”,并对“价格”进行 SUM 计算,每种订单商品数量为 1。

    创建的数据集显示在数据集设置区域中。

D. 添加报警

  1. 报警设置区域单击添加报警

    添加报警对话框打开。

  2. 在添加报警对话框中输入相关信息,单击保存。 示例:设置最近 10 分钟订单量低于指定下限值的报警

  3. 在数据集与报警配置页面单击保存完成配置。 启动监控任务对话框打开。

  4. 在启动监控任务中,选择从头开始消费从最新位置消费,并单击确定。 监控任务启动成功。稍等 1-2 分钟后,可进入任务详情查看数据集详情,也可以在数据集管理页面查询数据集
本文导读目录