本文为您介绍如何通过数据集成向导模式配置周期性调度的离线同步任务。
前提条件
- 已完成数据源配置。您需要在数据集成同步任务配置前,配置好您需要同步的源端和目标端数据库,以便在同步任务配置过程中,可通过选择数据源名称来控制同步任务的读取和写入数据库。离线同步支持的数据源及其配置详情请参见支持的数据源与读写插件。说明 数据源相关能力介绍详情请参见:数据源概述。
- 已购买合适规格的独享数据集成资源组。详情请参见:新增和使用独享数据集成资源组。
- 独享数据集成资源组与数据源网络已打通。详情请参见:配置资源组与网络连通。
进入数据开发界面
- 登录DataWorks控制台。
- 在左侧导航栏,单击工作空间列表。
- 选择工作空间所在地域后,单击相应工作空间后的数据开发。进入数据开发界面。
开发流程
- 步骤一:新建离线同步节点
- 步骤二:配置离线同步任务
- 配置同步网络链路
- 选择要同步的具体对象
- 配置字段的映射关系
- 配置作业速率上限、脏数据检查规则等信息
- 配置调度属性
- 步骤三:提交并发布任务
步骤一:新建离线同步节点
- 创建业务流程。详情请参见:创建业务流程。
- 创建离线同步节点。你可以通过以下两种方式创建离线同步节点:
- 方式一:展开业务流程,右键单击 。
- 方式二:双击业务流程名称,将数据集成目录下的离线同步节点直接拖拽至右侧业务流程编辑面板。
- 根据界面提示创建离线同步节点。
步骤二:配置离线同步任务
- 配置同步网络链接。选择离线同步任务的数据来源和数据去向,以及用于执行同步任务的资源组,并测试连通性。
- 还支持同步源端分库分表数据至目标单表,详情请参见:场景:配置分库分表离线同步任务。
- 若数据源与资源组网络不通,请参考界面提示或文档进行网络连通配置。详情请参见:配置资源组与网络连通。
重要 各插件配置存在一定差异,以下内容仅以常见配置为例进行说明,各插件是否支持相关配置以及配置的具体实现,请以具体插件配置文档为准。详情请参见支持的数据源与读写插件。 - 单击下一步,配置同步任务。
- 单击下一步,配置调度属性。周期性调度的离线同步任务需要配置任务自动调度时的相关属性,此步骤为您介绍如何配置调度相关属性。调度参数使用说明请参见数据集成使用调度参数的相关说明。
- 单击完成配置。
步骤三:提交并发布任务
若任务需要进行周期性调度运行,您需要将任务发布至生产环境。关于任务发布,详情请参见:发布任务。