配置DTS位点检查节点

DTS位点检查节点用于确认目标DTS任务同步的数据是否包含某个时间点之前的所有数据。数仓开发任务流中添加并配置DTS位点检查节点,可以预先检查DTS任务的执行情况,用以决定后续任务流节点是否继续执行。本文介绍配置DTS位点检查节点的方法。

前提条件

已创建数仓开发任务流。具体操作,请参见创建数仓开发任务流

名词解释

  • DTS任务:项目空间入仓解决方案中的实时同步任务和实时迁移任务。

    说明

    实时同步任务和实时迁移任务基于DTS的数据传输服务开发,支持库表结构同步、全量同步和增量同步,同时增量同步可长期运行。

  • DTS位点:为了便于检查DTS任务的执行状态,引入DTS位点概念。如果DTS任务到达了该DTS位点,表明检查时间点以前对数据库的所有操作已完成同步。

操作步骤

  1. 登录数据管理DMS 5.0
  2. 在顶部菜单栏中,选择集成与开发 > 数据开发 > 数仓开发

    说明

    若您使用的是极简模式的控制台,请单击控制台左上角的2023-01-28_15-57-17.png图标,选择全部功能 > 集成与开发 > 数据开发 > 数仓开发

  3. 进入任务流。

    1. 项目空间区域,单击目标项目空间名称。

    2. 可选:在项目空间的左侧导航栏中,单击目标业务场景前的5展开3图标,展开业务场景中的任务流。

    3. 双击目标任务流。

  4. 单击image.png图标,展开缩回的任务流配置面板。

    说明

    单击image.png图标,您还可以缩回任务流配置面板。

  5. 可选:在画布左侧任务类型列表中,拖拽DTS位点检查节点到画布空白区域。

  6. 双击DTS位点检查节点。

  7. 在DTS位点检查节点的配置页面,选择要检查的DTS任务。

    DTS任务可在项目空间的入仓解决方案中添加。具体操作,请参见入仓解决方案

  8. 以业务时间bizdate(任务流执行前一天)的时间点为基准,设置时间偏移点。

    单击预览,预览检查时间位点是否符合预期。8时间预览例如:设置时间偏移点为+30分,如果任务流的执行时间为2022-01-24 14:00,则该节点将检查在2022-01-23 14:30及之后是否有执行成功的DTS任务。若有,则该节点执行成功。

  9. 单击试运行

    • 如果执行日志的最后一行出现status SUCCEEDED,表明任务节点试运行成功。

    • 如果执行日志的最后一行出现status FAILED,表明任务节点试运行失败。

      说明

      如果试运行失败,可以在执行日志中查看执行失败的节点和原因。