配置同步任务是将数据源的数据同步到目标表的过程。本文为您介绍如何配置同步任务。

配置流程说明

同步任务的配置流程如下图。配置流程
来源表和目标表均支持多种数据源。
数据库类型 数据源
关系型数据库 MySQL、Vertica、Oracle、SQL Server、PostgreSQL、DRDS
分析型数据库 AnalyticDB、AnalyticDB for MySQL 3.0、AnalyticDB for PostgreSQL
阿里云大数据数仓存储 MaxCompute
开源大数据数仓存储 Hive、HBase
非结构化数据存储 FTP、HDFS、ElasticSearch
NoSQL数据存储 MongoDB
说明 HBase作为数据源或者目标,支持HBase V1.1.x、HBase V0.94.x两类版本。

配置同步任务

  1. 登录Dataphin控制台
  2. 在Dataphin控制台页面,选择工作区Region后,单击进入Dataphin>>
  3. 进入同步任务页面:
    1. 在Dataphin首页,单击顶部菜单栏的研发
    2. 在数据开发页面,单击项目名称后的test图标,选择数据开发的项目空间(DevBasic项目)。

      如果您当前访问的是DevBasic项目,且项目空间为您的数据开发空间,则不需要选择项目空间。

    3. 在数据开发页面,单击数据处理
    4. 数据处理页面,单击左侧导航栏的vaba图标。
  4. 同步任务页面,单击已创建的同步任务,根据同步任务配置页面提示配置参数:
    1. 配置同步来源区域的参数,根据数据源类型不同配置的参数不同。参数的解释,详情请参见数据源fagag
    2. 配置同步目标区域的参数,根据数据源类型不同配置的参数不同。参数的解释,详情请参见数据源dfafa
    3. 配置来源字段区域的参数。选择来源表后,来源表的字段会展示在来源字段区域内。faga您可以单击字段所在行操作列下的gagaga图标,删除来源字段。

      如果需要再次添加已删除的字段,则单击新建字段,根据弹框提示,填写字段及描述、选择数据类型,单击新增,完成已删除字段的添加。

    4. 配置目标字段区域的参数。选择目标表后,目标表的字段会展示在目标字段区域内。fagag您可以单击字段所在行操作列下的gagaga图标,删除目标字段。

      如果需要再次添加已删除的字段,则执行单击新建字段,根据弹框提示,填写字段及描述、选择数据类型,单击新增,完成已删除字段的添加。

    5. 调整字段:
      • 如果来源字段目标字段的字段名一一对应,则系统默认匹配。
      • 如果来源字段目标字段的字段名没有对应起来,则需手动调整。您可以删除不匹配的字段后,将鼠标悬停在字段列表的空白处,选择对应字段即可。
  5. 配置参数控制。配置参数控制是为了调整同步任务的并发数和容错率等。通常情况下,您不需要配置,保持默认值即可。
    参数控制 说明
    速度上限 数据同步的传输速率,默认为1MB/s。系统数据同步的传输速率会尽可能地达到速度上限,但是不会超过速度上限。速度上限会影响整个调度的资源情况,速度上限设置的越高,运行任务的调度资源量会越大。
    并发数 启动并发抽取数据的任务并发数。
    出错限制 指数据同步过程中,出错的记录数超过多少条则任务中止。默认为0条,即不允许出错。
  6. 配置同步任务的调度参数,详情请参见调度配置
  7. 保存、提交和发布同步任务:
    1. 单击页面右上角的fagag图标,保存代码任务。
    2. 单击页面右上角的fagag图标,提交代码任务。
    3. 发布同步任务:
      • 如果您的开发模式是Dev-Prod模式,则需要发布同步任务,详情请参见发布管理
      • 如果您的开发模式是Basic模式,则不需要发布同步任务。
      您可以对已提交状态的同步任务,执行如下操作。
      操作 描述
      编辑 编辑同步任务:
      1. 将鼠标悬停在某个同步任务后的“更多”按钮图标上,单击编辑
      2. 进入同步任务配置页面修改同步任务,详情请参见配置同步任务

        代码编写页面仅限解锁及被您自己锁定的状态方可编辑,如果他人锁定显示图标,单击图标,进行偷锁,偷锁成功后显示图标,您可以开始编辑同步任务。

      说明 保存完成修改的已提交状态的同步任务后,系统自动将同步任务的状态调整为开发中
      重命名 重命名同步任务:
      1. 将鼠标悬停在某个同步任务后的“更多”按钮图标上,单击重命名
      2. 在文件夹名称的输入框中,填写名称后回车,完成同步任务的重命名。
      移动 移动同步任务:
      1. 将鼠标悬停在某个同步任务后的“更多”按钮图标上,单击移动
      2. 移动文件夹对话框中,选择目录后,单击确定,完成同步任务的移动。
      下线 下线同步任务:
      • 将鼠标悬停在某个同步任务后的“更多”按钮图标上,单击下线,完成同步任务下线。
      • 提示对话框中,单击确定并提交
      下线并删除 下线并删除同步任务:
      • 将鼠标悬停在某个同步任务后的“更多”按钮图标上,单击下线并删除,完成同步任务删除。
      • 提示对话框中,单击确定并提交