创建数据加工(新版)任务

更新时间:2025-03-03 06:01:22

日志服务支持您使用数据加工(新版)功能,基于SPL规则消费源Logstore中的数据,并将SPL规则处理结果写入到的目标Logstore中。您也可以对加工后的数据进行查询和分析,进一步发掘数据价值。本文介绍如何在日志服务控制台上创建数据加工任务。

前提条件

操作步骤

  1. 登录日志服务控制台

  2. 进入数据加工页面。

    1. Project列表区域,单击目标Project。

    2. 日志存储 > 日志库页签中,单击目标Logstore。

    3. 在查询与分析页面,单击数据加工

  3. 在页面右上角,选择数据的时间范围。

    选择时间范围后,请确认原始日志页签中存在日志。

  4. 在编辑框中,输入SPL语句。

    SPL语法请参见SPL语法

  5. 预览数据。

    1. 原始数据页签中单击加入测试数据,或者在测试数据页签中,手动输入测试数据。

      image

    2. 点击image按钮,执行调试运行,详情请参考调试SPL规则

  6. 创建数据加工任务。

    1. 单击保存数据加工(新版)

    2. 创建数据加工任务(新版)面板中,配置如下信息,然后单击确定

    参数

    说明

    参数

    说明

    任务名称

    数据加工任务的名称。

    显示名称

    数据加工显示的名称。

    任务描述

    数据加工任务的描述。

    授权方式

    您可以通过如下方式授予数据加工任务读取源Logstore中数据的权限。

    • 默认角色:授予数据加工任务使用阿里云系统角色AliyunLogETLRole来读取源Logstore中的数据。单击授权系统角色AliyunLogETLRole,根据页面提示完成授权。更多信息,请参见通过默认角色访问数据

      重要

      如果您使用的是RAM用户,需要由阿里云账号先完成授权。

      已完成授权的阿里云账号,无需再次授权。

    • 自定义角色:授予数据加工任务使用自定义角色来读取源Logstore中的数据。

    您需先授予自定义角色读取源Logstore数据的权限,然后在角色ARN中输入您自定义角色的ARN。如何授权,请参见通过自定义角色访问数据

    存储目标

    目标名称

    存储目标的名称。存储目标中包括Project、Logstore等配置。

    目标Region

    选择目标Project所在地域。

    目标Project

    用于存储数据加工结果的目标Project名称。目标Project可以通过SPL规则动态指定,详情请参见动态目标Project/Logstore输出。如果SPL中动态指定,则使用该Project,否则使用当前配置的默认Project。

    重要

    SPL规则动态指定的Project须与当前配置的Region、授权相匹配。

    目标库

    用于存储数据加工结果的目标Logstore名称。目标Logstore可以通过SPL规则动态指定,详情请参见动态目标Project/Logstore输出。如果SPL中动态指定,则使用该Logstore,否则使用当前配置的默认Logstore。

    重要

    SPL规则动态指定的Logstore须与当前配置的Region、授权、以及Project相匹配。

    授权方式

    您可以通过如下方式授予数据加工任务写目标Logstore的权限。

    • 默认角色:授予数据加工任务使用阿里云系统角色AliyunLogETLRole将数据加工结果写入目标Logstore。 单击授权系统角色AliyunLogETLRole,根据页面提示完成授权。更多信息,请参见通过默认角色访问数据

    重要

    如果您使用的是RAM用户,需要由阿里云账号先完成授权。

    已完成授权的阿里云账号,无需再次授权。

    • 自定义角色:授予数据加工任务使用自定义角色将数据加工结果写入目标Logstore。您需先授予自定义角色写数据到目标Logstore的权限,然后在角色ARN中输入您自定义角色的ARN。如何授权,请参见通过自定义角色访问数据

    写入结果集

    需要写入至当前目标Logstore的数据集,数据加工(新版)处理结果的数据集详情请参见数据集说明。一个输出目标可配置多个数据集,单个数据集也可被多个目标选中。

    加工范围

    时间范围

    (数据接收时间)

    指定数据加工任务的时间范围,详细说明如下:

    • 所有:从Logstore接收到第一条日志的时间点开始数据加工任务,直到加工任务被手动停止。

    • 某时间开始:指定数据加工任务的开始时间,从该时间点开始加工,直到加工任务被手动停止。

    • 特定时间范围:指定数据加工任务的起止时间,加工任务执行到指定时间后自动停止。

    高级选项

    高级参数配置

    对于加工语句中需要使用的密码信息(例如数据库连接密码),日志服务支持使用键值对形式保存在密钥对中,即您可以在加工语句中通过res_local("key")进行引用。

    单击+,可添加多个键值对。例如config.vpc.vpc_id.test1:vpc-uf6mskb0b****n9yj,表示RDS实例所属的专有网络ID。高级参数配置

后续步骤

创建数据加工任务后,您可以执行如下操作。

  • 本页导读 (1)
  • 前提条件
  • 操作步骤
  • 后续步骤