结合SLS分析OSS-HDFS服务热点访问数据

为了有效地管理和分析OSS-HDFS服务的审计日志,您需要将审计日志导入日志服务SLS,然后通过SLS内置的查询分析能力对收集的审计日志进行分析,获取OSS-HDFS服务不同时间段内的访问量变化,分析频繁访问的数据、检测异常访问行为等信息。本教程用于演示如何通过SLS分析OSS-HDFS服务热点访问数据。

前提条件

操作步骤

步骤1:将OSS-HDFS服务审计日志文件导入日志服务

  1. 在日志服务控制台的OSS-数据导入页面的选择日志空间页签,选择已创建的ProjectLogstore(用于存放OSS-HDFS原始审计日志数据),然后单击下一步

  2. 导入配置页签,按要求配置以下参数,其他参数保留默认配置。

    参数

    说明

    OSS区域

    选择已开通OSS-HDFS服务的Bucket所在地域。

    Bucket

    选择已开通OSS-HDFS服务的Bucket名称。

    文件路径前缀过滤

    填写OSS-HDFS服务审计日志文件路径,示例值为.dlsdata/.sysinfo/auditlog-v2/2024-11-26/2024-11-26-00-00-04.auditlog。关于审计日志的各字段含义说明,请参见字段说明

    请参考以下截图,从OSS控制台文件列表页面的OSS文件页签获取OSS-HDFS服务审计日志文件路径。

    image

    数据格式

    选中单行文本日志

  3. 单击预览,预览导入结果。确认无误后,单击下一步

  4. 完成导入后,单击查询日志,进入查询和分析页面,确认是否成功导入OSS数据。

    等待1分钟左右,如果有目标OSS数据导入,则说明导入成功。导入成功后,可以看到如下原始日志。

    image.png

步骤2:对导入LogstoreOSS-HDFS服务审计日志进行数据加工

  1. 预览数据加工结果。

    1. 单击用于存放OSS-HDFS原始审计日志数据的Logstore右侧的数据加工

    2. 在页面右上角,选择数据的时间范围。

    3. 在编辑框中,输入以下SPL语句。

      SPL语法请参见SPL语法

      *
      | parse-regexp content, '(\d+-\d+-\d+\s\d+:\d+:\S+\s).*'  as tm
      | parse-kv -regexp content, '(\w+)=([^\t]*)'
      | extend bucket=__source__
    4. 将部分原始日志加入测试数据,验证解析结果。

      image (1).png

    5. 点击image按钮,执行调试运行。

    6. 运行完成后查看加工结果,解析后的格式化数据参考如下。

      image (2).png

  2. 保存数据加工结果。

    1. 单击保存数据加工(新版)

    2. 创建数据加工任务(新版)面板中,按要求配置以下参数,其他参数保留默认配置,然后单击确定

      screenshot_2024-12-25_10-41-37

步骤3:分析OSS-HDFS服务热点访问数据

  1. 进入用于保存数据加工结果的Logstore,单击右侧的开启索引

  2. 查询分析面板,单击自动生成索引>追加>确定

    说明

    开启后等待1min左右即可查询最新数据。

  3. 输入以下SQL语句,然后单击查询/分析

    说明

    src字段表示文件路径。通过统计src的请求访问次数评估热点数据访问量。

    * | SELECT src,COUNT(*) AS count FROM log GROUP BY src ORDER BY count DESC
  4. 查看热点访问数据路径。

    screenshot_2024-12-25_13-44-23

相关文档

  • SLS支持导入OSS Bucket中的日志文件,方便后续日志查询和分析。更多信息,请参见导入OSS数据

  • SLS支持基于SPL规则消费源Logstore中的数据,并将SPL规则处理结果写入到的目标Logstore中。您也可以对加工后的数据进行查询和分析,进一步发掘数据价值。更多信息,请参见创建数据加工(新版)任务

  • 对采集到SLS Logstore中的日志进行查询和分析,需要创建索引。更多信息,请参见创建索引

  • SLS支持使用SQL语句对查询结果进行分析。更多信息,请参见SQL分析语法与功能