MySQL-Hologres整库实时

本文介绍MySQL-Hologres的Serverless整库实时任务。

前提条件

已创建MaxCompute和Hologres数据源,详情请参见创建并管理数据源

操作步骤

步骤一:创建Serverless同步任务

  1. 进入数据集成页面。

    登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据开发与治理 > 数据集成,在下拉框中选择对应工作空间后单击进入数据集成

  2. 在左侧导航栏单击Serverless 同步任务

    image

  3. Serverless同步任务区域,选择数据来源和数据去向,单击新建 Serverless 同步任务

步骤二:配置基本信息

说明
  • 如需使用已添加的数据源,可单击使用已有数据源,从已有数据源中选择,数据源的相关信息将会自动获取。

  • 此处选择的数据来源数据去向无需先在数据集成或管理中心中添加数据源,您也可以直接在此处配置数据来源数据去向的详细信息。

  • 数据来源和数据去向信息配置完成后,单击测试,对于阿里云RDS以及阿里云Hologres实例,在没有特殊设置白名单时,连通性会自动测试通过,如果设置了白名单,请放行相关IP地址,具体IP地址清单请参见网络连通与白名单配置

image

步骤三:任务配置

选择要同步的库表

测试连通性后,同步任务会自动拉取当前数据源的库表,MySQL-Hologres支持选择指定库表使用正则选表

源端库表中选择表后,单击image,添加至已选库表区域。

image

配置目标表映射

单击操作列的刷新映射,然后根据界面提示完成配置表名映射字段类型映射Schema名映射等配置。

image

配置报警及高级参数等

单击右上角的报警配置高级参数配置DDL能力配置,根据界面提示完成配置。

image

步骤四:完成配置

配置上述信息后,单击完成配置

说明

第一次完成配置会自动进行配置检查,注意这里的配置检查不阻塞完成配置,只是做预检查。

image

启动任务

重要
  • 启动任务会自动再触发一次配置检查,注意此处的配置检查为强制行为,当预检查不通过时,则阻塞任务启动。

  • 预检查的检查项根据同步任务不同而检查项不同。

  • 初次启动会检查启动用户的权限是否允许,权限与Serverless通用资源组按量付费购买权限一致,需拥有AliyunBSSOrderAccessAliyunDataWorksFullAccess权限的用户才可以启动。

在Serverless同步任务页面,找到已创建的Serverless同步任务,然后单击操作列的启动

image

  • 启动之后进入环境准备阶段,这个阶段表示后台在为启动任务准备专门的运行资源,这个过程预计分钟以内完成。

    image

  • 启动完成之后状态转变为运行中

    image

任务详情

单击Serverless同步任务的任务名称/ID列或单击执行概况列的内容,进入任务详情页。

image

  • 基本信息:包括任务的数据源信息,计费订单ID以及同步方案。

  • 执行状态:同步任务每一步骤的具体执行状态,您还可以查看运行日志、Failover和资源利用率。

  • 详细信息:包括结构迁移、全量初始化和实时同步的详细信息。

任务修改

  1. 单击目标Serverless同步任务操作列的编辑,进入任务配置页面。

    image

  2. 您可以对同步表进行新增、删除或修改,然后单击完成配置

  3. 单击操作列的应用更新

    image

    • 应用更新会自动进行预检查,如果检查不过会阻塞应用更新

    • 应用更新对应的检查项比初次启动时要少,由于资源已经初始化完成,所以应用更新初次启动少了个资源准备的阶段。

其他

查看任务订单详情以及高级参数配置,请参见附录