全部产品
阿里云办公

向导模式的作业配置

更新时间:2017-09-26 00:12:32

创建向导模式任务

  1. 以开发者身份进入 阿里云数加平台>大数据开发套件>管理控制台,点击“项目列表”下对应项目操作栏中的 进入工作区

  2. 点击顶部菜单栏中的 数据集成 中左侧导航栏的 同步任务

    1

  3. 点击界面中的向导模式

    1

向导模式:向导模式是可视化界面配置同步任务, 一共涉及到五步,选择来源,选择目标,字段映射,通道控制,预览保存。在每个不同的数据源之间,这几步的界面可能有不同的内容,向导模式可以转换成脚本模式。
脚本模式:进入脚本界面你可以选择相应的模板,此模板包含了同步任务的主要参数,将相关的信息填写完整,但是脚本模式不能转化成向导模式。

  1. 下面以 MaxCompute (原ODPS) 同步到 MySQL 为例介绍一下向导模式的五个步骤,不同数据源可能页面的展现会有所不同。
  • 选择来源:

    1

数据源:数据来源与数据源名保持一致,支持模糊查询请输入更多检索条件得到精确结果;
:数据来源里的表,搜索结果只展示Top匹配到的25张表,请输入更多检索条件得到精确结果;
分区信息:MaxCompute数据源同步的表有分区则会展现分区信息,没有则显示无分区信息;
数据预览:数据浏览默认是收起的

  • 选择目标:

    1

数据源:目标数据源与数据源名保持一致,支持模糊查询请输入更多检索条件得到精确结果;
:目标表,搜索结果只展示Top匹配到的25张表,请输入更多检索条件得到精确结果;
导入前准备语句:执行数据同步任务之前率先执行的 SQL 语句,目前向导模式只允许执行一条 SQL 语句,脚本模式可以支持多条SQL语句,例如清除旧数据。
导入后准备语句:执行数据同步任务之后执行的 SQL 语句,目前向导模式只允许执行一条 SQL 语句,脚本模式可以支持多条 SQL 语句,例如加上某一个时间戳。
主键冲突:选择导入模式,可以支持 insert/replace/insert ignore 方式, insert 指当主键/唯一性索引冲突,数据集成视为脏数据进行处理。 replace 指没有遇到主键/唯一性索引冲突时,与 insert 行为一致,当主键/唯一性索引冲突时会用新行替换原有行所有字段。 insert ignore 指当主键/唯一性索引冲突,数据集成将直接忽略更新丢弃,并且不记录!

  • 字段映射:点击下一步,选择字段的映射关系。需对字段映射关系进行配置,左侧“源头表字段”和右侧“目标表字段”为一一对应的关系。

    1

同行映射:单击同行映射能将同行的源表列和目标表列映射关系连接起来。
自动排版:调整源端表和目标表排版。
增加一行:添加源表没有的列(不同的数据源有不同的规范,可以参考“增加一行”按钮后面的提示)。

  • 通道控制:

    1

作业速率上限:是指数据同步作业可能达到的最高速率,其最终实际速率受网络环境、数据库配置等的影响。
作业并发数:作业速率上限=作业并发数*单并发的传输速率 当作业速率上限已选定的情况下,应该如何选择作业并发数?
① 如果你的数据源是线上的业务库,建议您不要将并发数设置过大,以防对线上库造成影响;
② 如果您对数据同步速率特别在意,建议您选择最大作业速率上限和较大的作业并发数 ;

  • 预览保存:展现上面几步配置的信息,这边可以修改相关的配置信息,确认信息无误点击保存

    1

其他向导模式配置同步任务请参考下面文档:

本文导读目录