结合SLS分析OSS-HDFS服务热点访问数据

在日志服务控制台的OSS-数据导入页面的选择日志空间页签，选择已创建的Project和Logstore（用于存放OSS-HDFS原始审计日志数据），然后单击下一步。

在导入配置页签，按要求配置以下参数，其他参数保留默认配置。

单击预览，预览导入结果。确认无误后，单击下一步。

完成导入后，单击查询日志，进入查询和分析页面，确认是否成功导入OSS数据。

等待1分钟左右，如果有目标OSS数据导入，则说明导入成功。导入成功后，可以看到如下原始日志。

原始日志中每条记录包含以下关键字段：content（包含时间戳）、allowed（如 true）、ugi（如 admin (auth:UNKNOWN)）、cmd（如 getfileinfo src=/user/root/.Trash）、ip、dst、perm 以及 proto（如 rest）。

预览数据加工结果。

1. 单击用于存放OSS-HDFS原始审计日志数据的Logstore右侧的数据加工。

2. 在页面右上角，选择数据的时间范围。

3. 在编辑框中，输入以下SPL语句。

   SPL语法请参见SPL语法。

   *
   | parse-regexp content, '(\d+-\d+-\d+\s\d+:\d+:\S+\s).*'  as tm
   | parse-kv -regexp content, '(\w+)=([^\t]*)'
   | extend bucket=__source__

4. 将部分原始日志加入测试数据，验证解析结果。

   在数据加工页面编辑区输入DSL语句：使用 parse-regexp 提取时间字段 tm，使用 parse-kv 以正则方式解析 content 字段中的键值对，使用 extend bucket=__source__ 扩展字段。选中第2-3行语句后，切换到原始日志页签可预览HDFS审计日志，日志条目包含 __source__、__tag__:__object__、content 等字段，其中 content 包含 allowed=true、ugi=admin、cmd=getfileinfo、src=/user/root/.Trash 等键值对。

5. 点击按钮，执行调试运行。

6. 运行完成后查看加工结果，解析后的格式化数据参考如下。

   格式化数据包含 allowed、bucket、cmd、content、dst、ip、perm、proto、src、tm、ugi 等键值对字段，例如 cmd 值为 getfileinfo、proto 值为 rest、src 值为 /user/root/.Trash、ugi 值为 admin (auth:UNKNOWN) 等。

保存数据加工结果。

1. 单击保存数据加工（新版）。

2. 在创建数据加工任务（新版）面板中，按要求配置以下参数，其他参数保留默认配置，然后单击确定。

   将显示名称设置为 oss-hdfs-audit-log，授权方式选择默认角色。在存储目标区域，将目标名称设置为 oss-hdfs-audit-log，目标Region选择华东1（杭州），目标Project和目标库分别选择目标Project和目标Logstore，授权方式选择默认角色。在加工范围（数据接收时间）区域，时间范围选择所有。

进入用于保存数据加工结果的Logstore，单击右侧的开启索引。

在查询分析面板，单击自动生成索引>追加>确定。

输入以下SQL语句，然后单击查询 / 分析。

* | SELECT src,COUNT(*) AS count FROM log GROUP BY src ORDER BY count DESC

查看热点访问数据路径。

在SLS查询分析页面执行SQL语句 SELECT src, COUNT(*) AS count FROM log GROUP BY src ORDER BY count DESC，按源路径分组统计访问次数并降序排列。查询结果显示热点访问路径，例如 /user/root/.Trash 访问次数最多为1268次。