全部产品

配置同步任务中的数据来源和去向

更新时间:2019-08-06 13:36:04

  1. 进入DataWorks控制台,单击对应项目操作栏中的数据开发

  2. 单击左侧菜单栏中的数据开发,右键单击业务流程新建一个流程。

    数据集成1

  3. 右键单击步骤2中新建的业务流程下的数据集成,选择新建数据集成节点>数据同步,输入同步节点名称名称。

    新建同步节点

  4. 双击步骤3中创建的节点,配置数据同步任务的数据来源(Reader)、数据去向(Writer)、字段映射通道控制信息。

    读写数据

    数据来源(Reader)配置信息:

    配置项 说明
    数据源 选择SQLServer,系统将自动关联配置SQLServer数据源时设置的数据源名称。
    选择SQLServer中的一张表进行数据同步。
    数据过滤 同步数据的筛选条件,暂时不支持limit关键字过滤。

    SQL语法随着所选择的数据源不同而不同,详情请参见系统参数配置

    切分键 选择SQLServer数据表中的主键作为切分键。

    数据去向(Writer)配置信息:

    配置项 说明
    数据源 选择ADS,系统将自动关联配置分析型数据库MySQL版数据源时设置的数据源名称。
    选择分析型数据库MySQL版中的一张表,将SQLServer中的数据同步至该表中。
    导入模式 根据分析型数据库MySQL版中表的更新方式设置导入模式,本例为实时导入。

    字段映射配置信息:

    注意列与列之间映射的字段类型是否有做数据兼容。

    字段映射

    配置项 说明
    同行映射 自动将同一行的数据设置映射关系。
    自动排版 设置完映射关系后,字段排序展示。

    通道控制配置信息:

    通道控制

    配置项 说明
    DMU 任务运行所需要的资源量。
    作业并发数 配置的时候会结合读取端指定的切分建,将数据分成多个Task,多个Task同时运行,以达到提速的效果。
    同步速率 设置同步速率可保护读取端数据库,以避免抽取速度过大,给读取端造成太大的压力。同步速率建议限流,结合源库的配置,请合理配置抽取速率。
    错误记录数超过
    任务资源组
  5. 单击保存提交,配置任务需要的其他信息。

    qt

    qt2

    qt

    qt

  6. 完成同步任务的配置后,先保存提交节点,单击运行开始导入操作。

成功将数据导入分析型数据库MySQL版后,您就可以使用分析型数据库MySQL版进行数据分析。