为数据集成实时任务配置Check节点

本文介绍为数据集成实时任务配置Check节点,触发下游任务启动。

使用限制

  • 支持数据集成首页以及数据开发新建的数据集成实时任务。

  • 支持数据集成实时任务通道为:

    • MySQL实时同步至MaxCompute

    • Kafka实时同步至MaxCompute

    • MySQL实时同步至Hologres

  • 支持使用Serverless资源组

    如果您使用旧版资源组出现如下报错,建议升级使用Serverless资源组,您也可以提交工单联系技术支持升级旧版资源组的底层版本。

    java.lang.RuntimeException: unknown type : 241 at 
    com.alibaba.dataworks.messagewrapper.typehandler.TypeHandlerFactory.hander(TypeHandlerFactory.java:50) at 
    com.alibaba.dataworks.messagewrapper.Main.main(Main.java:57) at 
    sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at 
    sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at 
    sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at 
    java.lang.reflect.Method.invoke(Method.java:498) at 
    com.taobao.pandora.boot.loader.MainMethodRunner.run(MainMethodRunner.java:54) at 
    com.taobao.pandora.boot.loader.Launcher.launch(Launcher.java:85) at 
    com.taobao.pandora.boot.loader.Launcher.launch(Launcher.java:48) at 
    com.taobao.pandora.boot.loader.SarLauncher.main(SarLauncher.java:167)

节点配置

配置说明

  • 正式运行前请先进行测试,由于资源组底层版本可能不一致,因此需要确认同步任务是否能正常运行。

  • 调度时间为Check节点的唯一校验时间,实例进行重跑的时候也是依赖这个实例起调的调度时间,而不是实例的运行时间。

  • 当Check节点检测成功时,表示源端写入下游表中的数据的事件时间超过调度时间,可以配置目标表相关的SQL。

创建数据集成实时同步任务

数据集成首页创建实时同步任务

  1. 进入数据集成页面。

    登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据开发与治理 > 数据集成,在下拉框中选择对应工作空间后单击进入数据集成

  2. 在左侧导航栏选择同步任务,然后在同步任务区域选择数据来源和数据去向,单击新建同步任务

    说明

    支持的同步通道请参见使用限制

  3. 配置同步类型,选择同步类型中带有实时的同步类型。例如MySQL整库实时同步至MaxCompute。

  4. 完成后续同步任务配置。详情请参见常见业务场景与最佳实践

数据开发创建实时同步任务

  1. 进入数据开发页面。

    登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据开发与治理 > 数据开发,在下拉框中选择对应工作空间后单击进入数据开发

  2. 新建节点,选择实时同步,自定义节点名称。

    image

  3. 拖拽输入输出,配置实时同步相关参数,详情请参见DataStudio侧实时同步任务配置

创建Check节点

  1. 进入数据开发页面。

    登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据开发与治理 > 数据开发,在下拉框中选择对应工作空间后单击进入数据开发

  2. 新建节点,选择Check节点,自定义节点名称。

    image

  3. 填写Check节点相关参数。

    image

    • Check对象:选择实时同步任务

    • 实时同步任务:选择创建数据集成实时同步任务步骤已创建的同步任务。

    • Check停止策略:若在Check停止策略指定的条件下Check任务仍未检查通过,Check任务将自动退出并置为失败状态。具体配置,请参见步骤二:配置检查策略

校验结果说明

校验成功

  1. 任务配置,调度时间为:每5分钟运行一次,实例测试时间点:20241008143000(东八区时间戳:1728369000000)。

    image

  2. 延迟较小时,Check任务校验通过,时间戳:1728369386000

    image

校验失败

任务延迟较大时,触发两次Check,仍然失败,任务整体失败。

image