完成数据源、网络、资源的准备工作配置后,您可以创建并执行同步任务。本文为您介绍如何创建一键实时数据同步任务,并在创建完成后查看任务运行情况。

计费说明

一键实时同步至MaxCompute解决方案需要定期做全增量数据周期合并,因此会消耗MaxCompute计算资源。这部分费用由MaxCompute直接收取,费用与用户同步全量数据大小、合并周期正相关。具体费用请参考计费方式

创建同步解决方案任务

  1. 进入同步解决方案页面后,根据待同步的来源数据源和去向数据源(本场景去向数据源为MaxCompute),选择同步解决方案(本场景为一键实时同步至MaxCompute方案)。
    操作详情请参见选择同步方案一键实时同步
  2. 完成方案名称等基本信息配置。
    基本配置区域,配置各项参数。基本配置
    参数 描述
    方案名称 同步解决方案的名称,最多支持50个字符。
    描述 对当前方案进行简单描述,最多支持50个字符。
    目标任务存放位置 默认创建一个新的业务流程,所有任务均以clone_database_源端数据源名称+to+目标数据源名称的命名方式存放至数据集成目录下。

    您也可以取消自动建立工作流程,在选择位置下拉列表中指定存放目标任务的路径。

  3. 选择来源数据源并配置同步规则。
    1. 数据来源区域,选择类型数据源
      说明 仅支持选择MySQL、Oracle和PolarDB类型的数据源。
    2. 选择同步的源表区域,选中需要同步的源表,单击图标图标,将其移动至已选源表
      源表
      该区域会为您展示所选数据源下所有的表,您可以选择整库全表或部分表进行同步。
      注意 如果选中的表没有主键,将无法进行实时同步。
    3. 设置表名的映射规则区域,单击添加规则,选择相应的规则进行添加。
      同步规则包括源表名和目标表名转换规则目标表名规则
      • 源表名和目标表名转换规则:转换表名为目标表名,进行字符串替换。
      • 目标表名规则:支持对转换后的表名添加前缀和后缀。
    4. 单击下一步
  4. 选择目标数据源并配置目标表格式。
    1. 设置目标表页面,选择目标MaxCompute(ODPS)数据源写入模式
    2. 单击MaxCompute(ODPS)时间自动分区设置后的编辑图标,在编辑对话框中,修改目标MaxCompute分区的设置(支持天级别分区)。此处可以选择写入MaxCompute分区表或者是非分区表。
    3. (可选)特殊表进行离线同步:是否将无主键表设置为全量离线数据同步任务。
    4. 单击刷新源表和MaxCompute(ODPS)表映射,创建需要同步的源表和目标MaxCompute表的映射关系。
    5. 查看任务的执行进度和表来源。
      源表与odps表映射
      序号 描述
      显示映射关系的创建进度。
      说明 如果同步的表数量较多,会导致执行进度较慢,请耐心等待。
      表建立方式包括自动建表使用已有表
      选择的表建立方式不同,此处显示的MaxCompute表名也不同:
      • 当选择表建立方式自动建表时,显示自动创建的MaxCompute表名称。您可以单击表名称,查看和修改建表语句。
      • 当选择表建立方式使用已有表时,请在下拉列表中选择需要的表。
      说明 如果源表为无主键表,您可以无主键字样后的编辑入口,为源表手动指定主键,以便后续进行增全量同步。
      支持您通过编辑附加字段为目标MaxCompute表在源表字段基础上增加写入的目标MaxCompute表字段。
      说明 如果您初次使用自动建表方式时选择了附加字段,系统在自动建表时会加上对应列。如果您在已有表上增加附加字段,需要保证已有表中已经存在对应的列名,系统才会往对应列里写值,否则不会修改已有表的表结构去追加列。
    6. 单击下一步
  5. 运行资源设置。
    运行资源设置页面,配置各项参数。运行资源
    参数 描述
    同步引擎 支持默认内嵌引擎
    选择实时任务独享资源组 从下拉列表中选择实时任务的独享资源组。
    说明 实时同步任务仅支持运行在独享数据集成资源组上,详情请参见新增和使用独享数据集成资源组
    实时同步任务名称 实时同步任务的名称。
    选择调度资源组 分别选择任务调度和全量离线任务需要使用的独享资源组。目前解决方案仅支持使用独享数据集成资源组,详情请参见新增和使用独享数据集成资源组
    选择全量离线任务独享资源组
    来源端读取支持最大连接数 读取端的最大连接数,即来源端数据库的JDBC连接数。请根据数据库资源的实际情况合理配置。
    离线任务名称规则 全量同步时的离线任务名称。创建解决方案后,会先生成一个离线任务用于读取全量数据,再生成实时任务持续读取实时增量数据。
  6. 单击完成配置,完成数据同步解决方案任务创建。

执行数据同步解决方案任务

解决方案任务列表页面,单击相应任务后的提交执行,运行创建的数据同步解决方案任务。

查看运行状态及结果

  • 解决方案任务列表页面,单击已运行任务后的执行详情,查看当前解决方案数据同步过程中各子任务节点的运行详情。状态
  • 单击子任务节点后的执行详情,可在弹窗中单击任务链接进入子节点的数据开发页面。

管理数据同步解决方案任务

  • 查看或编辑任务。
    解决方案任务列表页面,单击相应任务后的任务配置,查看或编辑任务。
    说明 仅单击未运行状态后的任务配置,您可以编辑任务。其它状态下的任务配置页面,仅支持查看。
  • 删除任务。
    单击相应任务后的删除。在删除对话框中,单击确定
    说明 仅删除当前任务的配置记录,已经生成的表和任务不受影响。