配置同步任务中的数据来源和去向
进入DataWorks控制台,单击对应项目操作栏中的数据开发。
单击左侧菜单栏中的数据开发,右键单击业务流程新建一个流程。
右键单击步骤2中新建的业务流程下的数据集成,选择新建数据集成节点>数据同步,输入同步节点名称名称。
双击步骤3中创建的节点,配置数据同步任务的数据来源(Reader)、数据去向(Writer)、字段映射、通道控制信息。
数据来源(Reader)配置信息:
配置项 说明 数据源 选择SQLServer,系统将自动关联配置SQLServer数据源时设置的数据源名称。 表 选择SQLServer中的一张表进行数据同步。 数据过滤 同步数据的筛选条件,暂时不支持limit关键字过滤。 SQL语法随着所选择的数据源不同而不同。
切分键 选择SQLServer数据表中的主键作为切分键。 数据去向(Writer)配置信息:
配置项 说明 数据源 选择ADS,系统将自动关联配置分析型数据库MySQL版数据源时设置的数据源名称。 表 选择分析型数据库MySQL版中的一张表,将SQLServer中的数据同步至该表中。 导入模式 根据分析型数据库MySQL版中表的更新方式设置导入模式,本例为实时导入。 字段映射配置信息:
注意列与列之间映射的字段类型是否有做数据兼容。
配置项 说明 同行映射 自动将同一行的数据设置映射关系。 自动排版 设置完映射关系后,字段排序展示。 通道控制配置信息:
配置项 说明 DMU 任务运行所需要的资源量。 作业并发数 配置的时候会结合读取端指定的切分建,将数据分成多个Task,多个Task同时运行,以达到提速的效果。 同步速率 设置同步速率可保护读取端数据库,以避免抽取速度过大,给读取端造成太大的压力。同步速率建议限流,结合源库的配置,请合理配置抽取速率。 错误记录数超过 任务资源组 单击保存和提交,配置任务需要的其他信息。
完成同步任务的配置后,先保存和提交节点,单击运行开始导入操作。
成功将数据导入分析型数据库MySQL版后,您就可以使用分析型数据库MySQL版进行数据分析。