DTS位点检查节点用于确认目标DTS任务同步的数据是否包含某个时间点之前的所有数据。数仓开发任务流中添加并配置DTS位点检查节点,可以预先检查DTS任务的执行情况,用以决定后续任务流节点是否继续执行。本文介绍配置DTS位点检查节点的方法。
前提条件
已创建数仓开发任务流。具体操作,请参见创建数仓开发任务流。
名词解释
DTS任务:项目空间入仓解决方案中的实时同步任务和实时迁移任务。
说明实时同步任务和实时迁移任务基于DTS的数据传输服务开发,支持库表结构同步、全量同步和增量同步,同时增量同步可长期运行。
DTS位点:为了便于检查DTS任务的执行状态,引入DTS位点概念。如果DTS任务到达了该DTS位点,表明检查时间点以前对数据库的所有操作已完成同步。
操作步骤
- 登录数据管理DMS 5.0。
在顶部菜单栏中,选择 。
说明若您使用的是极简模式的控制台,请单击控制台左上角的图标,选择
。进入任务流。
在项目空间区域,单击目标项目空间名称。
可选:在项目空间的左侧导航栏中,单击目标业务场景前的图标,展开业务场景中的任务流。
双击目标任务流。
单击图标,展开缩回的任务流配置面板。
说明单击图标,您还可以缩回任务流配置面板。
可选:在画布左侧任务类型列表中,拖拽DTS位点检查节点到画布空白区域。
双击DTS位点检查节点。
在DTS位点检查节点的配置页面,选择要检查的DTS任务。
DTS任务可在项目空间的入仓解决方案中添加。具体操作,请参见入仓解决方案。
以业务时间bizdate(任务流执行前一天)的时间点为基准,设置时间偏移点。
单击预览,预览检查时间位点是否符合预期。例如:设置时间偏移点为
+30
分,如果任务流的执行时间为2022-01-24 14:00,则该节点将检查在2022-01-23 14:30及之后是否有执行成功的DTS任务。若有,则该节点执行成功。单击试运行。
如果执行日志的最后一行出现
status SUCCEEDED
,表明任务节点试运行成功。如果执行日志的最后一行出现
status FAILED
,表明任务节点试运行失败。说明如果试运行失败,可以在执行日志中查看执行失败的节点和原因。