本文档为您介绍如何创建数据加工规则对日志数据进行加工处理。

前提条件

背景信息

日志服务提供的数据加工功能,支持读取源Logstore的日志数据,对数据进行加工过滤处理。通过数据加工规则,对持续更新或者指定时间段的原始日志进行加工处理,并支持将加工后的日志数据动态写入到不同的Logstore。您也可以对加工后的日志数据进行查询分析,进一步发掘数据价值。

操作步骤

  1. 登录日志服务控制台
  2. 单击目标Project。
  3. 进入数据加工模式。
    您可以通过以下两种方式进入数据加工模式。
    • 日志管理 > 日志库页签中,单击目标Logstore。在查询分析页面,开启数据加工,进入数据加工模式。
    • 日志管理 > 日志库页签中,单击目标日志库前的>,依次选择数据处理 > 加工。单击加工后的加号(+),进入数据加工模式。
  4. 创建加工规则。
    1. 设置原始日志的查询时间范围。
    2. 在编辑框输入加工规则。
      规则语法请参见数据加工语法
    3. 单击预览数据
    4. 添加预览配置页面,配置如下参数,并单击确定
      说明 首次预览数据时,需配置如下参数。后续可通过单击修改预览配置,修改如下参数。
      参数 说明
      AccessKey ID 对源Logstore数据具备读取权限的AccessKey,详情请参见创建源Logstore访问密钥
      AccessKey Secret 对源Logstore数据具备读取权限的AccessKey Secret,详情请参见创建源Logstore访问密钥
      高级参数配置 对于加工规则脚本中需要使用的密码信息,例如数据库连接密码等,可以使用Key-Value的形式保存在密钥对中,在脚本中通过变量引用${key}的方式进行使用。
      模型参数配置 该配置主要用于机器学习中的时序数据,详情请参见简介
  5. 查看数据加工结果。
    • 如果加工规则语法错误或者AccessKey不合法,导致数据加工失败,请根据页面提示处理。
    • 如果确认数据加工结果无误,请执行步骤6
  6. 保存数据加工规则。
    1. 单击保存数据加工
    2. 创建数据加工规则页面,配置如下信息,并单击确定
      日志服务支持创建多个存储目标,将数据加工结果存储到多个Logstore中。
      说明
      • 在配置多个目标Logstore时,可以在数据加工规则中,使用e_output()函数或e_couput()函数将目标Logstore名称通过name参数传递,用于将特定日志写入到特定的目标Logstore中。
      • 在配置多个目标Logstore时,如果数据加工规则中没有使用e_output()函数,默认将数据加工结果写入到第1个存储目标的Logstore中。如果只有1个目标Logstore,则一般无需在加工规则中使用e_output()函数。
      参数 说明
      规则名称 数据加工规则的名称。
      AccessKey 对源Logstore数据具备读取权限的AccessKey,详情请参见创建源Logstore访问密钥
      AccessKey Secret 对源Logstore数据具备读取权限的AccessKey Secret,详情请参见创建源Logstore访问密钥
      目标名称 存储目标的逻辑名称。
      目标Project 用于存储数据加工结果的目标Project名称,支持相同地域下的其他Project。
      目标Logstore 用于存储数据加工结果的目标Logstore名称。
      AccessKey 将数据加工结果写入目标Logstore,具备数据写入权限的的AccessKey,详情请参见创建目标Logstore访问密钥
      AccessKey Secret 将数据加工结果写入目标Logstore,具备数据写入权限的AccessKey Secret,详情请参见创建目标Logstore访问密钥
      时间范围 时间范围如下所示。
      • 所有:对Logstore中的数据从开始位置持续加工,直到加工任务被手动停止。
      • 某时间开始:指定开始时间点,从该时间点对应的位置开始加工,直到加工任务被手动停止。
      • 特定时间范围:指定任务的起止时间,加工任务执行到指定时间后自动停止。
      说明 这里设置的时间范围以日志接收时间为准。
      高级参数配置 对于加工规则脚本中需要使用的密码信息,如数据库连接密码等,可以使用Key-Value形式保存在密钥对中,在脚本中通过变量引用${key}的方式进行使用。
      模型参数配置 该配置主要用于机器学习中的时序数据,详情请参见简介

      保存数据加工规则后,自动执行该规则。

执行结果

创建数据加工任务后,您可以在数据加工概览页面中查看数据加工任务详情并进行相关操作,详情请参见管理数据加工任务