修改导出任务
用户已经配置的数据导出任务,如果需要修改配置参数,可以通过控制台页面进行操作。
使用条件
用户需要同时购买日志服务和TSDB。
日志服务和TSDB必须在同一个区域,目前暂不支持跨区域数据交互。
用户已经成功创建数据导出任务。
任务更新
用户通过在日志服务控制台创建TSDB导出任务,创建过程中可以配置将采集到的日志导出到哪一个TSDB实例,从什么时间导出,导出到TSDB中哪一个Topic等任务细节。
接来下按照步骤演示任务更新过程。
日志服务控制台
进入到日志服务控制台,选择已创建导出任务的日志Project和日志库(logStore)。
点击日志库下拉列表,选中TSDB Group下需要更新的任务,进入管理面板。
点击 【修改投递配置】按钮 ,将会跳转到单独的任务配置页,请在配置页继续完成任务更新。
任务更新控制台
更新任务需要首先输入当前账户的AK信息,以便验证和加载任务数据:AK信息验证通过后,控制台会加载任务当前的配置,用户按需进行更新即可。
控制台如下图所示,请参考参数信息填写任务配置项:
参数信息
参数名 | 说明 |
---|---|
投递名称 | 任务名称(不可修改)。 |
投递描述 | 任务描述。 |
TSDB实例 | 当前Region中已购TSDB列表,选中需要导出数据的实例。 |
度量名称 | 导出到哪一个TSDB度量(metric)。 |
AccessKeyID | 当前登录账号的AK ID(供TSDB访问)。 |
AccessKeySecret | 当前登录账号的AK Secret(供TSDB访问)。 |
时间点映射 | 将日志记录中的时间戳映射到TSDB时间戳,默认将日志发生时间作为TSDB时间戳(”${logTag:__time__}}”) ,该字段支持表达式替换。 |
字段映射 | 配置哪些日志字段应设为TSDB字段,第一个框填写日志字段名称,第二个框填写TSDB字段名称。配置哪些日志字段应设为TSDB字段,第一个框填写日志字段名称,第二个框填写TSDB字段名称。 当只存在单个字段映射时,导出为TSDB单值模型(TSDB字段名称只能是value),当存在多个字段映射时,导出为TSDB多值模型。 |
标签映射 | 为导出的数据记录设置TSDB标签,第一个框填写标签名称,第二个框填写标签值,该配置项的标签名与标签值均支持表达式替换。 |
投递时间 | 从什么时间开始数据投递(小于该时间范围的数据不会被投递)。 |
度量(metric)不存在时会自动创建 SLS日志导入到TSDB时,时间点映射决定了数据点的时间戳(Timestamp) 字段,默认情况下, value取值为SLS 日志记录的时间戳(${logTag:time})。由于SLS日志时间戳(time)精度只采集到秒,如果用户的日志再一秒内有可能出现多条,那么用户需要自己指定哪些SLS日志信息作为TSDB的目标时间戳. 针对时间点映射,用户可以使用表达式格式:(${logTag:xx} 与 ${logColumn:xx})做数值替换.表达式所引用的字段必须可以转换为数值(Epoch seonc/milli-second)。表达式替换失败的情况下,时间戳会采用SLS日志记录时间(${logTag:time})。
表达式引用
任务配置过程中,对于时间点映射,标签映射这两项配置,因为需要灵活引用上下文信息,这2项配置支持使用表达式来引用一些上下文信息, 表达式的语法为:
${context:variable }
表达式中logColumn前缀表示引用原始sls log中所属column的值作为映射值。
表达式中logTag前缀表示引用原始sls log中所属tag的值作为映射值。
SLS的几个常见Tag(总是存在):
__topic__:整个LogGroup(一条或多条日志)的业务标记(表达式引用格式${logTag:__topic__)。
__source__:产生该条日志记录的机器IP地址(表达式引用格式${__source__} )。
__time__:日志记录的时间戳(秒级)(表达式引用格式${__time__})。
任务提交
当所有参数填写完毕后, 点击提交即可更新TSDB数据导出任务。
注意事项
TSDB导出任务更新后,并不会立即生效, 用户需要进入任务的控制台页面手动停止,并再次启动任务以使当前更新的配置生效。
如用户需要暂停/查看服务状态,可以在导出任务更新完毕后, 在SLS控制面板点击任务名称,进入任务管控面板进行操作。