本文介绍MySQL到MaxCompute的Serverless整库实时任务。
前提条件
已创建MySQL和MaxCompute数据源,详情请参见数据源配置。
对于阿里云RDS以及阿里云MaxCompute实例,在没有特殊设置白名单时,连通性会自动测试通过,如果设置了白名单,请放行相关IP地址,具体IP地址清单请参见网络连通与白名单配置。
使用限制
暂不支持将源端数据同步至MaxCompute外部表。
创建Serverless同步任务
Serverless同步任务是一种按量付费的全托管数据同步服务,您无需管理底层资源组或处理网络配置,仅需专注业务逻辑即可实现数据同步。
一、创建Serverless同步任务
进入数据集成页面。
登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的,在下拉框中选择对应工作空间后单击进入数据集成。
在左侧导航栏单击Serverless 同步任务。
在Serverless同步任务区域,选择数据来源(MySQL)和数据去向(MaxCompute),单击新建Serverless同步任务。
二、配置基本信息
如需使用已添加的数据源,可单击使用已有数据源,从已有数据源中选择,数据源的相关信息将会自动获取。
此处选择的数据来源与数据去向无需先在数据集成或管理中心中添加数据源,您也可以直接在此处配置数据来源或数据去向的详细信息。
数据来源和数据去向信息配置完成后,单击测试,对于阿里云RDS以及阿里云MaxCompute实例,在没有特殊设置白名单时,连通性会自动测试通过,如果设置了白名单,请放行相关IP地址,具体IP地址清单请参见网络连通与白名单配置。
在基本配置页面,设置同步类型为整库实时,同步步骤勾选结构迁移、全量同步和增量同步。在数据来源区域,选择所属云账号、地域(如华东2(上海))、实例ID,填写数据库名称(如 testdb)、用户名、密码,选择编码(UTF-8)和时区(Asia/Shanghai)。在数据去向区域,选择所属云账号、地域和MaxCompute项目名称,默认访问身份选择阿里云主账号。分别单击测试,确认源端和目标端均显示连通成功后,设置资源占用CU数(如1 CU)。
三、任务配置
1. 选择要同步的库表
测试连通性后,同步任务会自动拉取当前数据源的库表,MySQL-MaxCompute支持选择指定库表或使用正则选表。
在源端库表中选择表后,单击
,添加至已选库表区域。
已选库表区域右上角提供批量修改选择表功能,最多支持同步 5000 个表。
2. 配置目标表映射
单击操作列的刷新映射,然后根据界面提示完成配置表名映射、字段类型映射、Schema名映射等配置。
3. 配置报警及高级参数等
单击右上角的报警配置、高级参数配置或DDL能力配置,根据界面提示完成配置。在报警配置面板中,可设置报警规则(如任务失败、延迟等触发条件)及通知方式(如邮件、短信、钉钉);在高级配置面板中,可调整运行参数(如并发数、限速、脏数据处理策略等);在DDL规则面板中,可配置DDL变更(如新增列、删除列、修改列类型等)的处理策略(同步、忽略或报错)。
四、完成配置
配置上述信息后,单击完成配置。
第一次完成配置会自动进行配置检查,注意这里的配置检查不阻塞完成配置,只是做预检查。
在弹出的 配置检查 弹窗中,可查看各检查项(如任务配置检查、动态分区配置检查、表配置检查、MySQL Binlog检查、字段赋值检查等)的检查结果。所有检查项结果均显示为 通过 后,单击 关闭 即可。
启动同步任务
启动任务会自动再触发一次配置检查,注意此处的配置检查为强制行为,当配置检查不通过时,则阻塞任务启动。
配置检查的检查项根据同步任务不同而有所不同。
初次启动会检查启动用户的权限是否允许,权限与Serverless通用资源组按量付费购买权限一致,需拥有AliyunBSSOrderAccess和AliyunDataWorksFullAccess权限的用户才可以启动。
在Serverless同步任务页面,找到已创建的Serverless同步任务,然后单击操作列的启动。
此时任务状态显示为未提交。
启动之后进入环境准备阶段,这个阶段表示后台在为启动任务准备专门的运行资源,这个过程预计分钟以内完成。
任务状态显示为环境预检中,执行概况包含结构迁移(表 0/1)、全量初始化(库 0/1)和实时同步(待启动)三项进度。
启动完成之后状态转变为运行中。
此时任务列表中可查看该任务的执行概况,包括结构迁移、全量初始化和实时同步三项子任务的进度。
同步任务运维
查看任务详情
单击Serverless同步任务的任务名称/ID列或单击执行概况列的内容,进入任务详情页。
基本信息:包括任务的数据源信息,计费订单ID以及同步方案。
执行状态:同步任务每一步骤的具体执行状态,您还可以查看运行日志、Failover和资源利用率。
详细信息:包括结构迁移、全量初始化和实时同步的详细信息。
修改同步任务配置
单击目标Serverless同步任务操作列的编辑,进入任务配置页面。
编辑 位于 操作 列的 更多 下拉菜单中。
您可以对同步表进行新增、删除或修改,然后单击完成配置。
单击操作列的应用更新。
应用更新会自动进行预检查,如果检查不过会阻塞应用更新。
应用更新对应的检查项比初次启动时要少,由于资源已经初始化完成,所以应用更新比初次启动少了个资源准备的阶段。