配置单笔数据 Top

背景信息

单笔数据 Top 是通过对单条日志的数值维度进行排序，查看最高 N 个单笔业务，如统计耗时前 10 的单笔订单。

更多监控类别应用场景，请参见 监控类别概述。

前提条件

假设存在以下业务日志：

2012-11-1111:11:11粤A123XX,广州北收费站,G25,广州,￥50,收费员-张三
2012-11-1111:11:12粤A123XX,广州北收费站,G26,广州,￥50,收费员-李四
2012-11-1111:11:13粤A123XX,广州北收费站,G27,广州,￥50,收费员-王五
2012-11-1111:11:14粤A123XX,广州北收费站,G27,广州,￥50,收费员-李四
2012-11-1111:11:15粤A123XX,广州北收费站,G26,广州,￥50,收费员-张三
……

假设某交警部门正在调查乱收费现象，想知道每分钟里收费最高的前 100 笔记录。在这前 100 笔记录中，收费金额超过 ￥500 就要介入调查。在这种场景下，不要使用 Group By 对收费员维度进行统计，因为这样会产生几十万、几百万的无效数据长期占用资源。使用单笔数据 Top 不仅能用极低的成本找到前 100 笔记录，而且能查询到每一笔记录的详情。

操作步骤

配置自定义监控主要包括如下的步骤：

1. 选择监控产品

2. 填写基本信息

3. 配置日志筛选

4. 设置列值分组

5. 选择统计方式

6. 配置报警

7. 配置诊断

1. 选择监控产品

1. 进入控制台，单击左侧导航栏中的 自定义监控。

2. 在 自定义监控 页面，单击 新增 按钮。

3. 在 常用 页签，单击 单笔数据 Top，进入单笔数据 Top 监控产品配置页面。

2. 填写基本信息

在 基本信息 区域中，配置以下信息：

• 监控配置名：输入自定义的监控配置名称。

• 所属应用：选择该监控产品所属的应用名称。

• 采集日志文件：选择日志文件。提供以下采集日志的方式：

  • 扫描路径：如果列表中没有需要的日志文件，完成以下步骤。默认 扫描路径 方式：

    1. 单击 扫描路径 打开 选取采集文件 页面。该页面显示两个系统默认的文件路径。

    2. 双击路径名打开进行日志文件选取。如果默认的文件路径中，没有找到需要的路径，填写 指定根目录 或 指定服务器 IP 来查找需要的日志文件。查找时，只需要填写 指定根目录 或 指定服务器 进行查找。

    3. 单击选中需要的日志文件名，单击 确认，完成日志文件选取。

  • 手动填写日志路径：手动填写日志路径。注意路径规则。

• 选择是否开启 生效开关，默认开启。

• （可选）单击 高级选项，配置如下信息：

  • 日志编码：编码为系统自动识别的，一般支持 GBK、UTF-8 等。当有编码不识别时，可以在此处配置填写。

  • 集群日志限制流量，单位：KB/Min。每分钟采集日志达到上限后会放弃剩余日志，导致数据不准。

  • 日志路径软链接部分注明：例如 /home/admin/logs。如果手动填写的日志文件路径中含有软链接部分，请注明。

  • 存储容量上限：选择容量上限。

  • 报表 Key 数量上限：超过上限的 key 将被丢弃。

3. 配置日志筛选

开启日志筛选开关，以新增白名单筛选规则为例，完成以下步骤：

1. 单击 新增白名单筛选，新增一条白名单筛选列。

2. 在 白名单筛选列，单击 选取列值。

3. 在 日志筛选 对话框，配置白名单筛选列的位置。

   日志筛选 提供 新增白名单筛选 或 新增黑名单筛选 两种方式进行日志关键字筛选：

   • 白名单 相当于 SQL 里的［Where Field =?］语义。

   • 黑名单 相当于 SQL 里的［Where Field < >?］语义。

4. 用鼠标在日志样本中选中目标一个关键词，系统会根据该关键词的位置自动生成一个 列值选取规则，并在下方的列值采样表格中显示根据这一选取规则采样得到的列值。

   

5. 在最下方填入列名，点 确定，完成白名单筛选列的选取。

   说明

   要了解 日志筛选 对话框左下方的 使用列值翻译 功能使用方法，查看 列值翻译。

6. 填写 白名单值。

   说明

   同一个列值位的白名单，支持多个值的选取，可以用逗号（,） 分隔，如 aaaa,bbbb,cccc。多个 白名单筛选列 之间的关系为 且。如果填入多个值，如 A,B，白名单筛选是要 A 或 B，黑名单筛选是不要 A 和 B。

   

4. 设置列值分组

列值分组即数据的 group by，指明最终生成的数据按什么做分组。若需要自定义分组列，单击 新增分组列 > 选取列值，在弹出的 列定义 弹框中定义列值选取规则。用鼠标在日志样本中选中一个目标关键词，系统会根据该关键词的位置自动生成一个列值选取规则，并在下方的列值采样表格中显示根据这一选取规则采样得到的列值。

5. 选择统计方式

单笔数据 Top 产品提供 最大排名数 统计方式对日志进行计算。本步骤中，保持默认排名数 10 进行计算。

用于排序的列：单击 选取列值，再弹出框中选取用区排序的列。

6. 配置报警

Top 报警配置 指设置一定的报警规则，可通过手机短信方式接收故障报警。实时监控提供可视化报警配置，支持大于排序值阈值的统计项数量的报警统计规则、支持多条件多套报警配置、并可按不同时间段设置预警。

1. 为不同的报警方式设置排序值阈值及统计项阈值。

2. 配置完毕后，单击 提交 完成该自定义监控产品的配置，并生成一个数据源。

7. 配置诊断

当上述步骤完成，监控产品已经基本配置完成。单击所配置的监控产品，可进入可视化监控详情页面。单击右上角 配置诊断助手 可以对上述步骤的配置进行诊断，主要诊断反馈包括：

• 问题原因

• 诊断结果

• 处理建议