文档

配置同步任务中的数据来源和去向

更新时间:

成功将数据导入分析型数据库MySQL版后,您就可以使用分析型数据库MySQL版进行数据分析。

  1. 进入DataWorks控制台,单击对应项目操作栏中的数据开发

  2. 单击左侧菜单栏中的数据开发,右键单击业务流程新建一个流程。1

  3. 右键单击步骤2中新建的业务流程下的数据集成,选择新建数据集成节点>数据同步,输入同步节点名称2

  4. 双击步骤3中创建的节点,配置数据同步任务的数据来源(Reader)、数据去向(Writer)、字段映射通道控制信息。4

    数据来源(Reader)配置信息:

    配置项

    说明

    数据源

    选择SQLServer,系统将自动关联配置SQLServer数据源时设置的数据源名称。

    选择SQLServer中的一张表进行数据同步。

    数据过滤

    同步数据的筛选条件,暂时不支持limit关键字过滤。

    SQL语法随着所选择的数据源不同而不同。

    切分键

    选择SQLServer数据表中的主键作为切分键。

    数据去向(Writer)配置信息:

    配置项

    说明

    数据源

    选择ADS,系统将自动关联配置AnalyticDB MySQL 2.0数据源时设置的数据源名称。

    选择分析型数据库MySQL版中的一张表,将SQLServer中的数据同步至该表中。

    导入模式

    根据分析型数据库MySQL版中表的更新方式设置导入模式,本例为实时导入。

    字段映射配置信息:

    重要

    注意列与列之间映射的字段类型是否有做数据兼容。

    5

    配置项

    说明

    同行映射

    自动将同一行的数据设置映射关系。

    自动排版

    设置完映射关系后,字段排序展示。

    通道控制配置信息:5

    配置项

    说明

    DMU

    任务运行所需要的资源量。

    作业并发数

    配置的时候会结合读取端指定的切分建,将数据分成多个Task,多个Task同时运行,以达到提速的效果。

    同步速率

    设置同步速率可保护读取端数据库,以避免抽取速度过大,给读取端造成太大的压力。同步速率建议限流,结合源库的配置,请合理配置抽取速率。

    错误记录数超过

    NA

    任务资源组

    NA

  5. 单击保存提交,配置任务需要的其他信息。6789

  6. 完成同步任务的配置后,先保存提交节点,单击运行开始导入操作。

  • 本页导读 (1)
文档反馈