本文介绍MySQL到Hologres的Serverless整库实时任务。
前提条件
-
已创建MaxCompute和Hologres数据源,详情请参见数据源配置。
-
对于阿里云RDS以及阿里云Hologres实例,在没有特殊设置白名单时,连通性会自动测试通过,如果设置了白名单,请放行相关IP地址,具体IP地址清单请参见网络连通与白名单配置。
创建Serverless同步任务
Serverless同步任务配置是一种按量付费的全托管数据同步服务,您无需管理底层资源组或处理网络配置,仅需专注业务逻辑即可实现数据同步。
一、创建Serverless同步任务
进入数据集成页面。
登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的,在下拉框中选择对应工作空间后单击进入数据集成。
-
在左侧导航栏单击Serverless 同步任务。
-
在Serverless同步任务区域,选择数据来源(MySQL)和数据去向(Hologres),单击新建Serverless同步任务。
二、配置基本信息
-
如需使用已添加的数据源,可单击使用已有数据源,从已有数据源中选择,数据源的相关信息将会自动获取。
-
此处选择的数据来源与数据去向无需先在数据集成或管理中心中添加数据源,您也可以直接在此处配置数据来源或数据去向的详细信息。
-
数据来源和数据去向信息配置完成后,单击测试,对于阿里云RDS以及阿里云Hologres实例,在没有特殊设置白名单时,连通性会自动测试通过,如果设置了白名单,请放行相关IP地址,具体IP地址清单请参见网络连通与白名单配置。
在基本配置页面中,设置任务名称,选择同步类型为整库实时,勾选结构迁移、全量同步和增量同步。数据来源面板中配置地域、实例ID、数据库名称(如 testdb)、用户名、密码、编码(UTF-8)和时区等参数。数据去向面板中配置Hologres实例、计算组、数据库名称和默认访问身份等参数。底部可设置资源占用(如 1 CU)、责任人和任务描述。
三、任务配置
1. 选择要同步的库表
测试连通性后,同步任务会自动拉取当前数据源的库表,MySQL-Hologres支持选择指定库表或使用正则选表。
在源端库表中选择表后,单击
,添加至已选库表区域。
本示例选择testdb库下的testtb表。同步任务最多支持5000个表。
2. 配置目标表映射
单击操作列的刷新映射,然后根据界面提示完成配置表名映射、字段类型映射、Schema名映射等配置。
在目标表映射配置页面中,还需根据需要配置目标表同步主键、源端切分列和是否执行全量同步等参数。页面底部提供批量刷新映射、批量移除和批量修改按钮,支持对多个表进行批量操作。
3. 配置报警及高级参数等
单击右上角的报警配置、高级参数配置或DDL能力配置,根据界面提示完成配置。
四、完成配置
配置上述信息后,单击完成配置。
第一次完成配置会自动进行配置检查,注意这里的配置检查不阻塞完成配置,只是做预检查。
配置检查 弹窗中显示7项检查结果:任务配置检查、资源组检查、表配置检查、MySQL Binlog检查、serverless任务检测交换机可用IP、serverless任务检测初次启动权限、serverless任务检测源端目标端网络冲突,所有检查项结果均为通过。确认后单击 关闭。
启动同步任务
-
启动任务会自动再触发一次配置检查,注意此处的配置检查为强制行为,当配置检查不通过时,则阻塞任务启动。
-
配置检查的检查项根据同步任务不同而有所不同。
-
初次启动会检查启动用户的权限是否允许,权限与Serverless通用资源组按量付费购买权限一致,需拥有AliyunBSSOrderAccess和AliyunDataWorksFullAccess权限的用户才可以启动。
在Serverless同步任务页面,找到已创建的Serverless同步任务,然后单击操作列的启动。
-
启动之后进入环境准备阶段,这个阶段表示后台在为启动任务准备专门的运行资源,这个过程预计分钟以内完成。
此时任务的执行概况显示结构迁移(表 0/1)、全量初始化(库 0/1 表 0/1)、实时同步(待启动)均未开始。
-
启动完成之后状态转变为运行中。
此时执行概况列显示三个阶段:结构迁移、全量初始化(库 0/1 表 0/1)及实时同步(待启动)。
同步任务运维
查看任务详情
单击Serverless同步任务的任务名称/ID列或单击执行概况列的内容,进入任务详情页。
-
基本信息:包括任务的数据源信息,计费订单ID以及同步方案。
-
执行状态:同步任务每一步骤的具体执行状态,您还可以查看运行日志、Failover和资源利用率。
-
详细信息:包括结构迁移、全量初始化和实时同步的详细信息。
任务同步任务配置
-
单击目标Serverless同步任务操作列的编辑,进入任务配置页面。
-
您可以对同步表进行新增、删除或修改,然后单击完成配置。
-
单击操作列的应用更新。
-
应用更新会自动进行预检查,如果检查不过会阻塞应用更新。
-
应用更新对应的检查项比初次启动时要少,由于资源已经初始化完成,所以应用更新比初次启动少了个资源准备的阶段。
-