创建数据加工任务

操作步骤

1. 登录日志服务控制台。

2. 进入数据加工页面。

   1. 在Project列表区域，单击目标Project。

   2. 在日志存储 > 日志库页签中，单击目标Logstore。

   3. 在查询和分析页面，单击数据加工。

3. 在页面右上角，选择数据的时间范围。

   选择时间范围后，请确认原始日志页签中存在日志。

4. 在编辑框中，输入数据加工语句。

   加工语句的语法请参见数据加工语法。

5. 预览数据。

   1. 单击快速。

      日志服务支持快速预览和高级预览。更多信息，请参见预览调试概述。

   2. 单击预览数据。

      查看预览结果。

      • 如果加工语句错误或者权限配置错误，导致数据加工失败，请根据页面提示处理。

      • 如果确认数据加工结果无误，请执行步骤6。

6. 创建数据加工任务。

   1. 单击保存数据加工（旧版）。

   2. 在创建数据加工任务面板中，配置如下信息，然后单击确定。

      参数	说明
      任务名称	数据加工任务的名称。
      显示名称	数据加工显示的名称。
      任务描述	数据加工任务的描述。
      授权方式	您可以通过如下方式授予数据加工任务读取源Logstore数据的权限。 默认角色：授予数据加工任务使用阿里云系统角色AliyunLogETLRole来读取源Logstore中的数据。 自定义角色：授予数据加工任务使用自定义角色来读取源Logstore中的数据。 您需先授予自定义角色读取源Logstore数据的权限，然后在角色ARN中输入您自定义角色的ARN。如何授权，请参见通过自定义角色访问数据。 密钥：授予数据加工任务使用阿里云账号或RAM用户的访问密钥来读取源Logstore中的数据。 阿里云账号：阿里云账号的访问密钥具备源Logstore数据读取权限，您在AccessKey ID和AccessKey Secret中输入阿里云账号的访问密钥即可。如何获取访问密钥，请参见访问密钥。 RAM用户：您需先授予RAM用户读取源Logstore数据的权限，然后在AccessKey ID和AccessKey Secret中输入RAM用户的访问密钥。如何授权，请参见通过访问密钥访问数据。
      存储目标
      目标名称	存储目标的名称。存储目标中包括Project、Logstore等配置。 日志服务支持创建多个存储目标，将数据加工结果存储到多个Logstore中，相关说明如下： 您可以在数据加工语句中，使用e_output函数或e_coutput函数中的name参数定义目标名称。更多信息，请参见e_output、e_coutput。 如果数据加工语句中没有使用e_output函数，则默认将数据加工结果写入到第1个存储目标的Logstore中。 如果只有1个目标Logstore，则一般无需在加工语句中使用e_output函数。 如果您在e_output函数或e_coutput函数中设置了name、project和logstore参数，又在此处设置目标Project、目标库，最终以e_output函数或e_coutput函数中设置的为准。
      目标Region	选择目标Project所在地域。 跨地域数据加工使用HTTPS协议传输，确保日志数据的私密性。 跨地域数据加工使用公网传输数据，可能因为公网传输网络的不确定性导致加工任务出现延迟。您可以选中DCDN加速复选框，加快跨地域传输速度。在使用DCDN加速时，需确保对应的Project已开启加速功能。更多信息，请参见采集加速。 说明 跨地域数据加工按公网流量（压缩后）计费。更多信息，请参见按使用功能计费模式计费项。
      目标Project	用于存储数据加工结果的目标Project名称。
      目标库	用于存储数据加工结果的目标Logstore名称。
      授权方式	您可以通过如下方式授予数据加工任务写数据到目标Logstore的权限。 默认角色：授予数据加工任务使用阿里云系统角色AliyunLogETLRole将数据加工结果写入目标Logstore。 自定义角色：授予数据加工任务使用自定义角色将数据加工结果写入目标Logstore。 您需先授予自定义角色写数据到目标Logstore的权限，然后在角色ARN中输入您自定义角色的ARN。如何授权，请参见通过自定义角色访问数据。 密钥：授予数据加工任务使用阿里云账号或RAM用户的访问密钥将数据加工结果写入目标Logstore。 阿里云账号：阿里云账号的访问密钥具备写数据到目标Logstore的权限，您在AccessKey ID和AccessKey Secret中输入阿里云账号的访问密钥即可。如何获取访问密钥，请参见访问密钥。 RAM用户：您需先授予RAM用户写数据到目标Logstore的权限，然后在AccessKey ID和AccessKey Secret中输入RAM用户的访问密钥。如何授权，请参见通过访问密钥访问数据。
      加工范围
      时间范围	指定数据加工任务的时间范围，详细说明如下： 说明 此处的时间范围依赖日志的接收时间。 所有：从Logstore接收到第一条日志的时间点开始数据加工任务，直到加工任务被手动停止。 某时间开始：指定数据加工任务的开始时间，从该时间点开始加工，直到加工任务被手动停止。 特定时间范围：指定数据加工任务的起止时间，加工任务执行到指定时间后自动停止。
      高级选项
      高级参数配置	对于加工语句中需要使用的密码信息（例如数据库连接密码），日志服务支持使用键值对形式保存在密钥对中，即您可以在加工语句中通过res_local("key")进行引用。 单击+，可添加多个键值对。例如config.vpc.vpc_id.test1：vpc-uf6mskb0b****n9yj，表示RDS实例所属的专有网络ID。