批量新增离线数据同步任务

更新时间:

数据同步支持离线同步任务的批量创建,并支持一键启动多个上云任务,实现全量任务自动建表。本文以同步MySQL数据源到MaxCompute目标端为例,介绍如何批量新增离线数据同步任务。

前提条件

  • 已存在对应数据源,具体操作,请参见新建数据源

  • 已完成源端数据和目标端的物理表同步,具体操作,请参见获取物理表

  • 已添加离线数据同步任务目录,具体操作,请参见添加任务目录

操作步骤

  1. 登录企业数据智能平台

  2. 在页面左上角,单击导航图标 图标,选择协同

  3. 在顶部菜单栏,单击选择工作组图标,选择目标工作组,单击资产加工

  4. 在左侧导航栏,单击数据同步图标,将鼠标悬停在离线数据同步上,单击image图标。

  5. 离线数据同步页面,单击批量新增任务

  6. 配置基本信息、数据元和目标端。

    1. 在配置向导页面,选择所属目录,输入任务的描述。

    2. 数据源配置区域,选择数据源类型。

    3. 数据对象的左侧区域勾选待同步的数据,单击 / />图标。image.png

    4. 目标端配置区域,配置目标端、分区信息、清理规则。配置目标端

    5. 配置完成后,单击下一步

  7. 配置任务调度,单击下一步

    参数

    说明

    检测表结构变化

    选择是否开启检测表结构变化。开启后,以天为单位,进行数据源端表结构检测。若发现表结构变更,则进行异常推送。异常信息可在“运维监控 - 全景监控”中查看。

    资源组

    选择资源组。

    资源规格

    请设置任务实例运行需要的CPU内核(系统默认2个)与内存(系统默认1024 MB)。

    速率

    设置任务的速率上限,任务运行会尽可能达到该速度但是不是超过它。

    • Mb/秒:每个通道每秒传输的字节流上限。

    • 记录/条:每个通道每秒传输的记录数上限。

    说明

    字节流和记录数两个上限,谁先达到,谁先起作用。

  8. review任务区域,对任务进行检视。

    • 单击编辑,可对同步任务的基本信息、目标端、字段映射、任务调度进行修改。

    • 单击删除,可删除某条同步任务。

  9. 单击提交,在提示对话框中单击确定

后续步骤

批量新增同步任务后,需要对任务进行上线操作,具体操作,请参见上线离线数据同步任务