修改导出任务

更新时间:

用户已经配置的数据导出任务,如果需要修改配置参数,可以通过控制台页面进行操作。

使用条件

  • 用户需要同时购买日志服务和TSDB。

  • 日志服务和TSDB必须在同一个区域,目前暂不支持跨区域数据交互。

  • 用户已经成功创建数据导出任务。

任务更新

用户通过在日志服务控制台创建TSDB导出任务,创建过程中可以配置将采集到的日志导出到哪一个TSDB实例,从什么时间导出,导出到TSDB中哪一个Topic等任务细节。

接来下按照步骤演示任务更新过程。

日志服务控制台

  1. 进入到日志服务控制台,选择已创建导出任务的日志Project和日志库(logStore)。

  2. 点击日志库下拉列表,选中TSDB Group下需要更新的任务,进入管理面板。任务配置更新

  3. 点击 【修改投递配置】按钮 ,将会跳转到单独的任务配置页,请在配置页继续完成任务更新。

任务更新控制台

更新任务需要首先输入当前账户的AK信息,以便验证和加载任务数据:帐户AK信息AK信息验证通过后,控制台会加载任务当前的配置,用户按需进行更新即可。

控制台如下图所示,请参考参数信息填写任务配置项:

任务创建面板

参数信息

参数名

说明

投递名称

任务名称(不可修改)。

投递描述

任务描述。

TSDB实例

当前Region中已购TSDB列表,选中需要导出数据的实例。

度量名称

导出到哪一个TSDB度量(metric)。

AccessKeyID

当前登录账号的AK ID(供TSDB访问)。

AccessKeySecret

当前登录账号的AK Secret(供TSDB访问)。

时间点映射

将日志记录中的时间戳映射到TSDB时间戳,默认将日志发生时间作为TSDB时间戳(”${logTag:__time__}}”) ,该字段支持表达式替换。

字段映射

配置哪些日志字段应设为TSDB字段,第一个框填写日志字段名称,第二个框填写TSDB字段名称。配置哪些日志字段应设为TSDB字段,第一个框填写日志字段名称,第二个框填写TSDB字段名称。 当只存在单个字段映射时,导出为TSDB单值模型(TSDB字段名称只能是value),当存在多个字段映射时,导出为TSDB多值模型。

标签映射

为导出的数据记录设置TSDB标签,第一个框填写标签名称,第二个框填写标签值,该配置项的标签名与标签值均支持表达式替换。

投递时间

从什么时间开始数据投递(小于该时间范围的数据不会被投递)。

说明

度量(metric)不存在时会自动创建 SLS日志导入到TSDB时,时间点映射决定了数据点的时间戳(Timestamp) 字段,默认情况下, value取值为SLS 日志记录的时间戳(${logTag:time})。由于SLS日志时间戳(time)精度只采集到秒,如果用户的日志再一秒内有可能出现多条,那么用户需要自己指定哪些SLS日志信息作为TSDB的目标时间戳. 针对时间点映射,用户可以使用表达式格式:(${logTag:xx} 与 ${logColumn:xx})做数值替换.表达式所引用的字段必须可以转换为数值(Epoch seonc/milli-second)。表达式替换失败的情况下,时间戳会采用SLS日志记录时间(${logTag:time})。

表达式引用

任务配置过程中,对于时间点映射,标签映射这两项配置,因为需要灵活引用上下文信息,这2项配置支持使用表达式来引用一些上下文信息, 表达式的语法为:

说明

${context:variable }

  • 表达式中logColumn前缀表示引用原始sls log中所属column的值作为映射值。

  • 表达式中logTag前缀表示引用原始sls log中所属tag的值作为映射值。

SLS的几个常见Tag(总是存在):

  • __topic__:整个LogGroup(一条或多条日志)的业务标记(表达式引用格式${logTag:__topic__)。

  • __source__:产生该条日志记录的机器IP地址(表达式引用格式${__source__} )。

  • __time__:日志记录的时间戳(秒级)(表达式引用格式${__time__})。

任务提交

当所有参数填写完毕后, 点击提交即可更新TSDB数据导出任务。

注意事项

  • TSDB导出任务更新后,并不会立即生效, 用户需要进入任务的控制台页面手动停止,并再次启动任务以使当前更新的配置生效。

  • 如用户需要暂停/查看服务状态,可以在导出任务更新完毕后, 在SLS控制面板点击任务名称,进入任务管控面板进行操作。