Serverless整库实时同步MySQL至MaxCompute

本文介绍MySQLMaxComputeServerless整库实时任务。

前提条件

  • 已创建MySQLMaxCompute数据源,详情请参见创建数据集成数据源

  • 对于阿里云RDS以及阿里云MaxCompute实例,在没有特殊设置白名单时,连通性会自动测试通过,如果设置了白名单,请放行相关IP地址,具体IP地址清单请参见网络连通与白名单配置

使用限制

暂不支持将源端数据同步至MaxCompute外部表。

创建Serverless同步任务

Serverless同步任务是一种按量付费的全托管数据同步服务,您无需管理底层资源组或处理网络配置,仅需专注业务逻辑即可实现数据同步。

一、创建Serverless同步任务

  1. 进入数据集成页面。

    登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据集成 > 数据集成,在下拉框中选择对应工作空间后单击进入数据集成

  2. 在左侧导航栏单击Serverless 同步任务

    image

  3. Serverless同步任务区域,选择数据来源(MySQL)和数据去向(MaxCompute),单击新建 Serverless 同步任务

二、配置基本信息

说明
  • 如需使用已添加的数据源,可单击使用已有数据源,从已有数据源中选择,数据源的相关信息将会自动获取。

  • 此处选择的数据来源数据去向无需先在数据集成或管理中心中添加数据源,您也可以直接在此处配置数据来源数据去向的详细信息。

  • 数据来源和数据去向信息配置完成后,单击测试,对于阿里云RDS以及阿里云MaxCompute实例,在没有特殊设置白名单时,连通性会自动测试通过,如果设置了白名单,请放行相关IP地址,具体IP地址清单请参见网络连通与白名单配置

image

三、任务配置

1. 选择要同步的库表

测试连通性后,同步任务会自动拉取当前数据源的库表,MySQL-MaxCompute支持选择指定库表使用正则选表

源端库表中选择表后,单击image,添加至已选库表区域。

image

2. 配置目标表映射

单击操作列的刷新映射,然后根据界面提示完成配置表名映射字段类型映射Schema名映射等配置。

image

3. 配置报警及高级参数等

单击右上角的报警配置高级参数配置DDL能力配置,根据界面提示完成配置。

image

四、完成配置

配置上述信息后,单击完成配置

说明

第一次完成配置会自动进行配置检查,注意这里的配置检查不阻塞完成配置,只是做预检查。

image

启动同步任务

重要
  • 启动任务会自动再触发一次配置检查,注意此处的配置检查为强制行为,当配置检查不通过时,则阻塞任务启动。

  • 配置检查的检查项根据同步任务不同而有所不同。

  • 初次启动会检查启动用户的权限是否允许,权限与Serverless通用资源组按量付费购买权限一致,需拥有AliyunBSSOrderAccessAliyunDataWorksFullAccess权限的用户才可以启动。

Serverless同步任务页面,找到已创建的Serverless同步任务,然后单击操作列的启动

image

  • 启动之后进入环境准备阶段,这个阶段表示后台在为启动任务准备专门的运行资源,这个过程预计分钟以内完成。

    image

  • 启动完成之后状态转变为运行中

    image

同步任务运维

查看任务详情

单击Serverless同步任务的任务名称/ID列或单击执行概况列的内容,进入任务详情页。

image

  • 基本信息:包括任务的数据源信息,计费订单ID以及同步方案。

  • 执行状态:同步任务每一步骤的具体执行状态,您还可以查看运行日志、Failover和资源利用率。

  • 详细信息:包括结构迁移、全量初始化和实时同步的详细信息。

修改同步任务配置

  1. 单击目标Serverless同步任务操作列的编辑,进入任务配置页面。

    image

  2. 您可以对同步表进行新增、删除或修改,然后单击完成配置

  3. 单击操作列的应用更新

    image

    • 应用更新会自动进行预检查,如果检查不过会阻塞应用更新

    • 应用更新对应的检查项比初次启动时要少,由于资源已经初始化完成,所以应用更新初次启动少了个资源准备的阶段。

相关参考

  • 查看任务订单详情以及高级参数配置,请参见附录

  • 如果Serverless实时同步任务遇到问题,请参见实时同步常见问题