配置同步任务是将数据源的数据同步到目标表的过程。本文为您介绍如何配置同步任务。
配置流程说明
同步任务的配置流程如下图。

来源表和目标表均支持多种数据源。
数据库类型 | 数据源 |
---|---|
关系型数据库 | MySQL、Vertica、Oracle、SQL Server、PostgreSQL、DRDS |
分析型数据库 | AnalyticDB、AnalyticDB for MySQL 3.0、AnalyticDB for PostgreSQL |
阿里云大数据数仓存储 | MaxCompute |
开源大数据数仓存储 | Hive、HBase |
非结构化数据存储 | FTP、HDFS、ElasticSearch |
NoSQL数据存储 | MongoDB |
说明 HBase作为数据源或者目标,支持HBase V1.1.x、HBase V0.94.x两类版本。
配置同步任务
- 登录Dataphin控制台。
- 在Dataphin控制台页面,选择工作区地域后,单击进入Dataphin>>。
- 在Dataphin首页,单击顶部菜单栏的研发。
- 在数据开发页面,按照下图操作指引,进入同步任务页面。
- 在同步任务页面,单击已创建的同步任务,根据同步任务配置页面提示配置参数。
- 配置同步来源区域的参数,根据数据源类型不同配置的参数不同。参数的解释,详情请参见数据源。
- 配置同步目标区域的参数,根据数据源类型不同配置的参数不同。参数的解释,详情请参见数据源。
- 配置来源字段区域的参数。选择来源表后,来源表的字段会展示在来源字段区域内。
您可以单击字段所在行操作列下的
图标,删除来源字段。
如果需要再次添加已删除的字段,则单击新建字段,根据弹框提示,填写字段及描述、选择数据类型,单击新增,完成已删除字段的添加。
- 配置目标字段区域的参数。选择目标表后,目标表的字段会展示在目标字段区域内。
您可以单击字段所在行操作列下的
图标,删除目标字段。
如果需要再次添加已删除的字段,则执行单击新建字段,根据弹框提示,填写字段及描述、选择数据类型,单击新增,完成已删除字段的添加。
- 调整字段:
- 如果来源字段和目标字段的字段名一一对应,则系统默认匹配。
- 如果来源字段和目标字段的字段名没有对应起来,则需手动调整。您可以删除不匹配的字段后,将鼠标悬停在字段列表的空白处,选择对应字段即可。
- 配置同步来源区域的参数,根据数据源类型不同配置的参数不同。参数的解释,详情请参见数据源。
- 配置参数控制。配置参数控制是为了调整同步任务的并发数和容错率等。通常情况下,您不需要配置,保持默认值即可。
参数控制 说明 速度上限 数据同步的传输速率,默认为1MB/s。系统数据同步的传输速率会尽可能地达到速度上限,但是不会超过速度上限。速度上限会影响整个调度的资源情况,速度上限设置的越高,运行任务的调度资源量会越大。 并发数 启动并发抽取数据的任务并发数。 出错限制 指数据同步过程中,出错的记录数超过多少条则任务中止。默认为0条,即不允许出错。 - 配置同步任务的调度参数,详情请参见调度配置。
- 保存、提交和发布同步任务:
- 单击页面上方的
图标,保存代码任务。
- 单击页面上方的
图标,提交代码任务。
- 可选:发布同步任务:
- 如果您的开发模式是Dev-Prod模式,则需要发布同步任务,详情请参见管理发布任务。
- 如果您的开发模式是Basic模式,则不需要发布同步任务。
您可以对已提交状态的同步任务,执行如下操作。操作 描述 编辑 编辑同步任务: - 将鼠标悬停在某个同步任务后的
图标上,单击编辑。
- 进入同步任务配置页面修改同步任务,详情请参见配置同步任务。
代码编写页面仅限解锁及被您自己锁定的状态方可编辑,如果他人锁定显示
图标,单击
图标,进行偷锁,偷锁成功后显示
图标,您可以开始编辑同步任务。
说明 保存完成修改的已提交状态的同步任务后,系统自动将同步任务的状态调整为开发中。重命名 重命名同步任务: - 将鼠标悬停在某个同步任务后的
图标上,单击重命名。
- 在文件夹名称的输入框中,填写名称后回车,完成同步任务的重命名。
移动 移动同步任务: - 将鼠标悬停在某个同步任务后的
图标上,单击移动。
- 在移动文件夹对话框中,选择目录后,单击确定,完成同步任务的移动。
下线 下线同步任务: - 将鼠标悬停在某个同步任务后的
图标上,单击下线,完成同步任务下线。
- 在提示对话框中,单击确定并提交。
下线并删除 下线并删除同步任务: - 将鼠标悬停在某个同步任务后的
图标上,单击下线并删除,完成同步任务删除。
- 在提示对话框中,单击确定并提交。
- 单击页面上方的