本文档为您介绍如何创建数据加工规则对日志数据进行加工处理。

前提条件

  • 已开通日志服务并创建了Project和Logstore。详细步骤请参见准备流程
  • 已成功采集到日志数据。

背景信息

日志服务提供的数据加工功能,支持读取源Logstore的日志数据,对数据进行加工过滤处理。通过创建加工规则,可以对持续更新或者指定时间段的原始日志进行加工处理,并支持将加工后的日志数据动态写入到不同的Logstore。您也可以对加工后的日志数据进行查询分析,进一步发掘数据的价值。

操作步骤

  1. 登录日志服务控制台,单击Project名称。
  2. 进入加工模式。
    您可以通过以下两种方式进入数据加工模式:
    • 单击目标日志库名称,在查询分析界面单击数据加工,进入数据加工模式。
    • 单击目标日志库前的折叠按钮,依次选择数据处理 > 加工,然后单击加工后的加号,进入数据加工模式。

    进入加工模式
  3. 编写加工规则。
    1. 设置原始日志的查询时间范围。
    2. 在编辑框编辑加工规则。
      规则语法请参见语言简介
    3. 单击预览数据,查看加工结果。
      首次预览时,需要输入AccessKey鉴权。
      加工界面
      在结果展示区中查看数据加工结果,如果加工规则语法错误或者AccessKey不合法,会导致数据加工失败,请参见界面报错信息处理。
      加工结果
  4. 保存加工规则。
    如果加工结果符合预期,单击保存数据加工保存数据加工规则。
    创建加工任务
    表 1. 加工规则配置项
    配置项 说明
    规则名称 保存加工任务的规则名称。
    AccessKey 对当前Logstore原始数据进行数据加工的AccessKey。
    AccessKey Secret 对当前Logstore原始数据进行数据加工的AccessKey Secret。
    目标名称 存储目标的逻辑名称。
    目标Project 加工结果存储的目标Project名称,目前只支持相同地域的Project。
    目标Logstore 加工结果存储的目标Logstore名称。
    AccessKey 用于将加工结果写入目标Logstore的AccessKey。
    AccessKey Secret 用于将加工结果写入目标Logstore的AccessKey Secret。
    时间范围 加工范围三种类型:
    • 所有:对Logstore中的数据从开始位置持续加工,直到加工任务被手动停止。
    • 某时间开始:指定开始时间点,从该时间点对应的位置开始加工,直到加工任务被手动停止。
    • 特定时间范围:指定任务的起止时间,加工任务执行到指定时间后自动停止。
    说明 这里设置的时间范围以日志接收时间为准。
    高级参数配置 对于加工规则代码中需要使用的密码信息,如数据库连接密码等,可以使用Key-Value的形式保存在密钥对中,在代码中通过变量引用${key}的方式进行使用。
    说明 加工规则保存之后会自动执行该规则。

执行结果

您可以在数据加工任务列表中查看已经创建好的加工规则。
加工任务