日志服务支持您使用数据加工(新版)功能,基于SPL规则消费源Logstore中的数据,并将SPL规则处理结果写入到的目标Logstore中。您也可以对加工后的数据进行查询和分析,进一步发掘数据价值。本文介绍如何在日志服务控制台上创建数据加工任务。
前提条件
已采集数据到日志服务。具体操作,请参见数据采集概述。
如果您使用的是RAM用户,则需要先授予RAM用户数据加工操作权限。具体操作,请参见授予RAM用户数据加工操作权限。
操作步骤
登录日志服务控制台。
进入数据加工页面。
在Project列表区域,单击目标Project。
在 页签中,单击目标Logstore。
在查询与分析页面,单击数据加工。
在页面右上角,选择数据的时间范围。
选择时间范围后,请确认原始日志页签中存在日志。
在编辑框中,输入SPL语句。
SPL语法请参见SPL概述。
预览数据。
在原始数据页签中单击加入测试数据,或者在测试数据页签中,手动输入测试数据。
点击按钮,执行调试运行,详情请参考调试SPL规则。
创建数据加工任务。
单击保存数据加工(新版)。
在创建数据加工任务(新版)面板中,配置如下信息,然后单击确定。
参数
说明
任务名称
数据加工任务的名称。
显示名称
数据加工显示的名称。
任务描述
数据加工任务的描述。
授权方式
您可以通过如下方式授予数据加工任务读取源Logstore中数据的权限。
默认角色:授予数据加工任务使用阿里云系统角色AliyunLogETLRole来读取源Logstore中的数据。单击授权系统角色AliyunLogETLRole,根据页面提示完成授权。更多信息,请参见通过默认角色访问数据。
重要如果您使用的是RAM用户,需要由阿里云账号先完成授权。
已完成授权的阿里云账号,无需再次授权。
自定义角色:授予数据加工任务使用自定义角色来读取源Logstore中的数据。
您需先授予自定义角色读取源Logstore数据的权限,然后在角色ARN中输入您自定义角色的ARN。如何授权,请参见通过自定义角色访问数据。
密钥:授予数据加工任务使用阿里云账号或RAM用户的访问密钥来读取源Logstore中的数据。
阿里云主账户:阿里云账号的访问密钥具备源Logstore数据读取权限,您在AccessKey ID和AccessKey Secret中输入阿里云账号的访问密钥即可。如何获取访问密钥,请参见访问密钥。
RAM用户:您需先授予RAM用户读取源Logstore数据的权限,然后在AccessKey ID和AccessKey Secret中输入RAM用户的访问密钥。如何授权,请参见通过访问密钥访问数据。
存储目标
目标名称
存储目标的名称。存储目标中包括Project、Logstore等配置。
目标Region
选择目标Project所在地域。
重要数据加工(新版)目前仅支持同地域传输。
目标Project
用于存储数据加工结果的目标Project名称。
目标库
用于存储数据加工结果的目标Logstore名称。
授权方式
您可以通过如下方式授予数据加工任务写目标Logstore的权限。
默认角色:授予数据加工任务使用阿里云系统角色AliyunLogETLRole将数据加工结果写入目标Logstore。 单击授权系统角色AliyunLogETLRole,根据页面提示完成授权。更多信息,请参见通过默认角色访问数据。
重要如果您使用的是RAM用户,需要由阿里云账号先完成授权。
已完成授权的阿里云账号,无需再次授权。
自定义角色:授予数据加工任务使用自定义角色将数据加工结果写入目标Logstore。您需先授予自定义角色写数据到目标Logstore的权限,然后在角色ARN中输入您自定义角色的ARN。如何授权,请参见通过自定义角色访问数据。
密钥:授予数据加工任务使用阿里云账号或RAM用户的访问密钥将数据加工结果写入目标Logstore。
阿里云主账户:阿里云账号的访问密钥具备写数据到目标Logstore的权限,您在AccessKey ID和AccessKey Secret中输入阿里云账号的访问密钥即可。如何获取访问密钥,请参见访问密钥。
RAM用户:您需先授予RAM用户写数据到目标Logstore的权限,然后在AccessKey ID和AccessKey Secret中输入RAM用户的访问密钥。如何授权,请参见通过访问密钥访问数据。
写入结果集
需要写入至当前目标Logstore的SPL规则处理结果集。支持
__UNNAMED__
,表示所有未命名的结果集。加工范围
时间范围
(数据接收时间)
指定数据加工任务的时间范围,详细说明如下:
所有:从Logstore接收到第一条日志的时间点开始数据加工任务,直到加工任务被手动停止。
某时间开始:指定数据加工任务的开始时间,从该时间点开始加工,直到加工任务被手动停止。
特定时间范围:指定数据加工任务的起止时间,加工任务执行到指定时间后自动停止。
高级选项
高级参数配置
对于加工语句中需要使用的密码信息(例如数据库连接密码),日志服务支持使用键值对形式保存在密钥对中,即您可以在加工语句中通过
res_local("key")
进行引用。单击+,可添加多个键值对。例如config.vpc.vpc_id.test1:vpc-uf6mskb0b****n9yj,表示RDS实例所属的专有网络ID。
后续步骤
创建数据加工任务后,您可以执行如下操作。
在数据加工概览页面中,查看数据加工任务详情,修改加工任务,停止加工任务等操作。更多信息,请参见管理数据加工(新版)任务。
在目标Logstore中,执行查询和分析操作。具体操作,请参见查询和分析日志。