完成网络、资源、输入及输出数据源的准备配置后,您可创建实时同步节点,同步目标输入表数据至输出表。本文为您介绍如何创建单表增量数据实时同步任务,并在创建完成后查看任务运行情况。

前提条件

  1. 已完成数据源配置。您需要在数据集成同步任务配置前,配置好您需要同步的源端和目标端数据库,以便在同步任务配置过程中,可通过选择数据源名称来控制同步任务的读取和写入数据库。离线同步支持的数据源及其配置详情请参见支持的数据源与读写插件
    说明 数据源相关能力介绍详情请参见:数据源概述
  2. 已购买合适规格的独享数据集成资源组。详情请参见:新增和使用独享数据集成资源组
  3. 独享数据集成资源组与数据源网络已打通。详情请参见:配置资源组与网络连通
  4. 数据库环境已准备完成:您可以基于您需要进行的同步配置,在同步任务执行前,授予数据源配置的账号在数据库进行相应操作的权限。详情请参见:数据库环境准备概述

背景信息

单表实时同步仅支持同步数据至目标单表,如果您需要同步数据至多个表,您可以采用以下方案:
  • 如果您需要对同步过程中的数据进行过滤、字符串替换或数据脱敏,您可以创建多个单表数据实时同步任务。
  • 如果您需要同步多个表至多个表,除了可以创建多个单表实时同步任务,部分数据源还可以选择配置整库实时同步任务。详情请参见:配置整库增量数据实时同步
  • 如果您需要先同步全量数据再将增量数据实时同步至目标端,您可选择同步解决方案。详情请参见:同步解决方案能力说明

操作流程

  1. 步骤一:创建单表实时同步节点
  2. 步骤二:配置资源组
  3. 步骤三:配置单表实时同步任务
  4. 步骤四:提交并发布实时同步任务

步骤一:创建单表实时同步节点

  1. 创建业务流程。详情请参见:管理业务流程
  2. 创建实时同步节点。
    1. 你可以通过以下两种方式创建实时同步节点。
      • 方式一:展开业务流程,右键单击数据集成 > 新建节点 > 实时同步
      • 方式二:双击业务流程名称,将数据集成目录下的实时同步节点直接拖拽至右侧业务流程编辑面板。
      实时同步
    2. 新建节点对话框中,选择同步方式为单表(Topic)到单表(Topic)ETL,并配置节点存放路径及名称等信息。

步骤二:配置资源组

实时同步任务仅支持使用独享数据集成资源组,您可以在实时同步任务编辑页面的右侧导航栏,单击基本配置。在资源组下拉框选择已经与数据库网络连通的独享数据集成资源组。资源组
说明 建议实时同步任务与离线同步任务运行在不同的资源组上,避免混跑带来资源互相抢占、运行态互相影响等问题,例如,CPU、内存、网络等互相影响,导致离线同步任务突然变慢、实时同步任务延迟、以及在资源不足的极端情况下可能会出现任务被OOM Killer杀掉等问题。

步骤三:配置单表实时同步任务

  1. 配置输入数据源。
    1. 在实时同步任务编辑页面左侧的输入区域,拖拽目标输入数据源组件至右侧面板。
    2. 单击输入组件,在右侧的节点配置对话框配置相关信息。
      目前,同步单表数据支持的输入数据源类型及其配置如下:
  2. 可选:配置数据转换方式。
    在实时同步数据的过程中,如果您希望将输入的数据转换为需要使用的格式进行输出,则可以配置数据转换方式。
    1. 在实时同步任务编辑页面左侧的转换区域,拖拽需要使用的数据转换方式组件至右侧面板。
    2. 单击转换组件,在右侧的节点配置对话框配置相关信息。
      目前,同步单表数据支持的转换方式及其配置如下:
  3. 配置输出数据源。
    1. 在实时同步任务编辑页面左侧的输出区域,拖拽目标输出数据源组件至右侧面板。
    2. 单击输出组件,在右侧的节点配置对话框配置相关信息。
      目前,同步单表数据支持的输出数据源类型及其配置如下:
  4. 配置输入、输出组件的上下游关系。
    添加完输入、输出组件后,您可以根据业务需求,通过连线完成相应的组件关系连接,数据会根据连线从上游组件同步至下游组件。
    • 场景一:只进行实时同步,不进行数据转换。
      若您不需要进行转换操作,您可以参考下图进行配置。实时同步
      说明 数据同步方向:将上游组件连线至下游组件,数据由输入数据源MySQL Binlog同步至输出数据源MaxCompute。
    • 场景二:进行数据同步,并且需要在同步过程中进行数据转换。
      您可以参考下图,在输入数据源与输出数据源之间拖拽相应的转换节点,并为节点之间设置依赖关系。
      • 示例1:对MySQL Binlog数据源的数据进行数据过滤处理后,再同步至下游的输出数据源MaxCompute。实时单表同步演示(含转换)
      • 示例三:上游的输入数据源MySQL通过数据脱敏后,再同步至下游的输出数据源MaxCompute。数据脱敏

步骤四:提交并发布实时同步任务

  1. 单击工具栏中的保存图标,保存节点。
  2. 单击工具栏中的提交图标,提交节点任务。
  3. 提交新版本对话框中,输入变更描述
  4. 单击确定
    如果您使用的是标准模式的工作空间,任务提交成功后,需要将任务发布至生产环境进行发布。请单击顶部菜单栏左侧的任务发布。具体操作请参见发布任务

后续步骤

任务配置完成后,您可以在运维中心 > 实时任务运维 > 实时同步任务面板启动并管理该任务,详情请参见:实时同步任务运维