全部产品
云市场

配置同步任务中的数据来源和去向

更新时间:2019-08-06 13:44:36

本文介绍如何在DataWorks中配置数据来源和去向,完成数据同步。

操作步骤

  1. 进入DataWorks控制台,单击对应项目操作栏中的进入数据开发

  2. 数据开发下右键单击业务流程新建一个流程。

    新建业务流程

  3. 单击步骤2新建的业务流程下的数据集成 > 数据同步,新建数据同步节点。

    新建同步节

  4. 双击步骤3中创建的节点,配置数据同步任务的数据来源(Reader)、数据去向(Writer)、字段映射通道控制信息。

    读写数据

    类别 参数 说明
    数据来源 数据源 选择MySQL,系统将自动关联配置RDS for MySQL数据源时设置的数据源名称。
    选择RDS for MySQL中的一张表进行数据同步。
    数据过滤 同步数据的筛选条件,暂时不支持limit关键字过滤。

    SQL语法随着所选择的数据源不同而不同,详情请参见系统参数配置

    切分键 RDS for MySQL数据表中的主键为切分键。
    数据去向 数据源 选择AnalyticDB for MySQL,系统将自动关联配置AnalyticDB for MySQL数据源时设置的数据源名称。
    选择AnalyticDB for MySQL中的一张表,将RDS for MySQL中的表数据同步至该表中。
    导入前准备语句 输入导入数据前执行的SQL脚本。
    导入后完成语句 输入导入数据后执行的SQL脚本。
    主键冲突 设置主键冲突时的数据处理方式。

    注意:列与列之间进行字段映射时,字段类型需要与数据兼容。

    字段映射

    参数 说明
    同行映射 自动将同一行的数据设置映射关系。
    自动排版 设置映射关系后,字段排序展示。

    通道控制

    参数 说明
    任务期望最大并发数 -
    同步速率 设置同步速率可以保护读取端数据库,避免抽取速度过大,给读取端造成太大的压力。同步速率建议限流,请结合源库的配置,合理配置抽取速率。
    错误记录数超过 当错误记录数超过设置条数后,同步任务自动结束。
    任务资源组 -
  5. 单击保存提交保存和提交节点,然后进行调度配置,详情请参见设置周期和依赖

    提交任务

  6. 完成同步任务的调度配置后,先保存提交节点,然后单击运行开始同步数据。

  7. 登录AnalyticDB控制台

  8. 通过DMS连接AnalyticDB for MySQL,查看同步过来的RDS for MySQL数据。

    成功将数据导入AnalyticDB for MySQL后,您就可以使用AnalyticDB for MySQL进行数据分析。