本文介绍为数据集成实时任务配置Check节点,触发下游任务启动。
使用限制
支持数据集成首页以及数据开发新建的数据集成实时任务。
支持数据集成实时任务通道为:
MySQL实时同步至MaxCompute
Kafka实时同步至MaxCompute
MySQL实时同步至Hologres
如果您使用旧版资源组出现如下报错,建议升级使用Serverless资源组,您也可以提交工单联系技术支持升级旧版资源组的底层版本。
java.lang.RuntimeException: unknown type : 241 at com.alibaba.dataworks.messagewrapper.typehandler.TypeHandlerFactory.hander(TypeHandlerFactory.java:50) at com.alibaba.dataworks.messagewrapper.Main.main(Main.java:57) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at com.taobao.pandora.boot.loader.MainMethodRunner.run(MainMethodRunner.java:54) at com.taobao.pandora.boot.loader.Launcher.launch(Launcher.java:85) at com.taobao.pandora.boot.loader.Launcher.launch(Launcher.java:48) at com.taobao.pandora.boot.loader.SarLauncher.main(SarLauncher.java:167)
节点配置
配置说明
正式运行前请先进行测试,由于资源组底层版本可能不一致,因此需要确认同步任务是否能正常运行。
调度时间为Check节点的唯一校验时间,实例进行重跑的时候也是依赖这个实例起调的调度时间,而不是实例的运行时间。
当Check节点检测成功时,表示源端写入下游表中的数据的事件时间超过调度时间,可以配置目标表相关的SQL。
创建数据集成实时同步任务
数据集成首页创建实时同步任务
进入数据集成页面。
登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的 ,在下拉框中选择对应工作空间后单击进入数据集成。
在左侧导航栏选择同步任务,然后在同步任务区域选择数据来源和数据去向,单击新建同步任务。
说明支持的同步通道请参见使用限制。
配置同步类型,选择同步类型中带有实时的同步类型。例如MySQL整库实时同步至MaxCompute。
完成后续同步任务配置。详情请参见常见业务场景与最佳实践。
数据开发创建实时同步任务
进入数据开发页面。
登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的 ,在下拉框中选择对应工作空间后单击进入数据开发。
新建节点,选择实时同步,自定义节点名称。
拖拽输入和输出,配置实时同步相关参数,详情请参见DataStudio侧实时同步任务配置。
创建Check节点
进入数据开发页面。
登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的 ,在下拉框中选择对应工作空间后单击进入数据开发。
新建节点,选择Check节点,自定义节点名称。
填写Check节点相关参数。
Check对象:选择实时同步任务。
实时同步任务:选择创建数据集成实时同步任务步骤已创建的同步任务。
Check停止策略:若在Check停止策略指定的条件下Check任务仍未检查通过,Check任务将自动退出并置为失败状态。具体配置,请参见步骤二:配置检查策略。
校验结果说明
校验成功
任务配置,调度时间为:每5分钟运行一次,实例测试时间点:
20241008143000
(东八区时间戳:1728369000000
)。延迟较小时,Check任务校验通过,时间戳:
1728369386000
。
校验失败
任务延迟较大时,触发两次Check,仍然失败,任务整体失败。