将MySQL的数据集到OSS_数据管理（兼容数据库备份）(DMS)-阿里云帮助中心

本文为您介绍如何将MySQL的数据集成到阿里云对象存储OSS（Object Storage Service）的指定存储空间（Bucket）中。

前提条件

MySQL数据库已开通公网访问权限，并且已将DTS和DMS服务器的IP地址段加入到相应数据库的安全设置（安全组规则、防火墙、白名单等）中。更多信息，请参见添加DTS服务器的IP地址段和添加DMS IP地址。

注意事项

此功能正在灰度内测中，仅部分用户可以使用。
仅华东1（杭州）、华东2（上海）、华北2（北京）地域支持此功能。
一个数据集成任务只支持集成一张数据表。
源库必须开通公网访问权限。
创建Bucket、购买KMS实例、创建RAM用户以及登录DMS的租户所属的阿里云账号需为同一阿里云账号（主账号）。

准备工作

在配置数据集成任务之前，您需要先创建数据集成任务所需的Bucket、RAM用户和KMS实例。

说明

仅在需要使用KMS对集成的数据进行加密时，需要购买KMS实例。

创建Bucket

登录OSS管理控制台。
在左侧导航栏，单击Bucket 列表，然后单击创建 Bucket。
配置Bucket参数。
1. 填入Bucket名称。
2. 地域选择为数据集成任务的地域。
3. 读写权限选择为私有。
4. 根据实际情况，配置其他参数。
  更多信息，请参见创建有地域属性Bucket。
参数配置完成后，单击完成创建。
根据提示完成后续操作。
创建目录。
1. 单击Bucket 列表，然后单击目标Bucket名称。
2. 在左侧导航栏，选择文件管理 > 文件列表。
3. 在文件列表页面，单击新建目录。
4. 在新建目录面板，输入目录名。
  说明
  目录名的要求等信息，请参见管理目录。
5. 单击确定。

创建RAM用户并授权

访问RAM用户列表，创建RAM用户。
1. 单击创建用户。
2. 设置登录名称。
  例如，填入dts_testuser。
3. 访问方式选择为使用永久 AccessKey 访问。
4. 单击确定。
5. RAM用户创建成功后，保存AccessKey ID和AccessKey Secret信息。

完成授权。

返回RAM用户列表，单击目标RAM用户操作列的添加权限。

选择权限策略。

权限策略	说明
AliyunDTSFullAccess	管理数据传输服务（DTS）的权限。
AliyunOSSFullAccess	管理对象存储服务（OSS）权限。说明您也可以授予RAM用户只读访问对象存储服务（OSS）的权限（即AliyunOSSReadOnlyAccess），并在OSS控制台的Bucket 授权策略页面对RAM用户进行授权。授权资源选择整个Bucket，授权用户在子账号中选择，授权操作选择完全控制或读/写，具体操作请参见方式一：图形化配置Bucket Policy。
AliyunKMSReadOnlyAccess（可选）	只读访问密钥管理服务（KMS）的权限。
AliyunKMSSecretUserAccess（可选）	获取KMS中的凭据的权限。
AliyunKMSCryptoUserAccess（可选）	使用KMS的密钥进行密码运算的权限。

单击确认新增授权。
授权完成后，单击关闭。

购买并配置KMS实例（可选）

登录密钥管理服务控制台，并在顶部菜单栏选择目标实例的地域。
购买KMS实例。
1. 在左侧导航栏，选择资源 > 实例管理。
2. 在实例管理页面，单击创建实例。
3. 配置Bucket参数。
  1. 密钥管理类型选择为软件密钥管理。
  2. 地域选择为数据集成任务的地域。
  3. 根据实际情况，配置其他参数。
    更多信息，请参见购买KMS实例。
4. 参数配置完成后，单击立即购买。
  根据提示完成后续操作。
启用KMS实例。
1. 返回实例管理页面。
2. 在软件密钥管理页签，查找购买的KMS软件密钥管理实例。
3. 在目标实例的操作列，单击启用。
4. 配置KMS实例启用的参数。
  更多信息，请参见启用KMS实例。
5. 根据提示完成后续操作。
  等待KMS软件密钥管理实例启用成功。
创建用户主密钥。
1. 在左侧导航栏，选择资源 > 密钥管理。
2. 可选：单击用户主密钥页签。
3. 将创建密钥右侧的实例ID，选择为步骤2购买的KMS软件密钥管理实例。
4. 单击创建密钥。
5. 配置密钥参数。
  1. KMS实例选择购买的KMS软件密钥管理实例。
  2. 密钥类型选择对称密钥。
  3. 密钥规格选择Aliyun_AES_256。
  4. 根据实际情况，配置其他参数。
    更多信息，请参见创建密钥。
  5. 配置完成后，单击确定。
6. 根据提示完成后续操作。
创建通用凭据。
1. 在左侧导航栏，选择资源 > 凭据管理。
2. 可选：单击通用凭据页签。
3. 将创建凭据右侧的实例ID，选择为步骤2购买的KMS软件密钥管理实例。
4. 单击创建凭据。
5. 配置通用凭据参数。
  1. 设置凭据值选择纯文本。
  2. 纯文本文本框中输入凭据值。
    说明
    您可以在已安装OpenSSL的环境中执行openssl rand 32 | base64命令，随机生成一个凭据值。
  3. 加密主密钥选择步骤4创建的密钥。
  4. 根据实际情况，配置其他参数。
    更多信息，请参见创建通用凭据。
6. 配置完成后，单击确定。
创建应用接入策略。
1. 在左侧导航栏，选择应用接入 > 接入点。
2. 单击权限策略页签。
3. 单击创建权限策略。
4. 配置权限策略参数。
  1. 作用域选择为步骤2购买的KMS软件密钥管理实例。
  2. RBAC权限选择所有可选项。
  3. 允许访问的资源选择步骤4创建的密钥和步骤5创建的凭据。
  4. 根据实际情况，配置其他参数。
    更多信息，请参见创建权限策略。
5. 配置完成后，单击确定。

操作步骤

步骤一：录入MySQL实例

登录数据管理DMS 5.0。
在控制台首页左侧的数据库实例区域，单击新增实例图标。
说明
您还可以通过在菜单栏中选择数据资产 > 实例管理，单击新增，进行新增实例操作。
在新增实例页面，单击他云/自建页签。
说明
RDS MySQL实例也需单击他云/自建页签。

在关系型数据库中单击MySQL，然后配置实例参数。

类别	配置项	说明
基本信息	数据库类型	选择MySQL。
	实例来源	选择公网。
	实例地区	选择MySQL数据库所在的地域。
	登录地址	填入MySQL数据库的公网地址。
	端口	填入MySQL数据库的服务端口。
	数据库账号	填入MySQL数据库的登录账号，需具备待集成数据的SELECT权限。
	数据库密码	填入该数据库账号对应的密码。

说明

其他参数可根据实际情况进行配置。更多信息，请参见他云/自建数据库录入。

在页面下方，单击提交。

步骤二：录入OSS实例

登录数据管理DMS 5.0。
在控制台首页左侧的数据库实例区域，单击新增实例图标。
说明
您还可以通过在菜单栏中选择数据资产 > 实例管理，单击新增，进行新增实例操作。
可选：在新增实例页面，单击阿里云页签。

在文件及日志中选择OSS，然后配置实例参数。

类别	配置项	说明
基本信息	文件及日志	选择OSS。
	实例地区	选择准备工作中创建的Bucket所在的地域。
	录入方式	选择连接串地址。
	连接串地址	选择实例地区后，DMS会自动填入连接串地址。例如实例地区选择为华东1（杭州），连接串地址会自动填入oss-cn-hangzhou.aliyuncs.com。
	Bucket（可选）	选择准备工作中创建的Bucket。
	AccessKey ID	填入准备工作中创建的RAM用户的AccessKey ID。
	AccessKey Secret	填入准备工作中创建的RAM用户的AccessKey Secret。

说明

其他参数可根据实际情况进行配置。更多信息，请参见云数据库录入。

在页面下方，单击提交。

步骤三：配置数据集成任务

新增任务流。
1. 登录数据管理DMS 5.0。
2. 在顶部菜单栏中，选择集成与开发 > 数据开发 > 任务编排。
  说明
  若您使用的是极简模式的控制台，请单击控制台左上角的图标，选择全部功能 > 集成与开发 > 数据开发 > 任务编排。
3. 单击新增任务流，配置业务场景和任务流名称后，单击确认。

配置数据集成任务。

在画布左侧任务类型列表中，将数据集成中的入湖数据集成节点拖拽至页面右侧画布的空白区域。
双击画布区域的入湖数据集成节点。

配置源库及目标库信息。

类别	配置	说明
源库信息	数据库类型	选择MySQL。
	接入方式	固定为公网IP。
	实例地区	选择录入DMS的MySQL实例所在的地域。
	DMS数据库实例	选择录入DMS的MySQL实例。
目标库信息	数据库类型	固定为OSS。
	接入方式	固定为云实例。
	实例地区	选择录入DMS的OSS实例所在的地域。
	DMS数据库实例	选择录入DMS的OSS实例。
	OSS Bucket	选择接收数据的Bucket，即准备工作中创建的Bucket。

单击下一步对象配置。

配置任务对象。

配置	说明
目标OSS数据库集成格式	请根据实际情况选择Delta或Parquet。
目标OSS数据库路径	填入准备工作中在目标Bucket创建的目录。
源库对象	在源库对象框中单击待集成的表，然后单击将其移动到已选择对象框。说明只支持选择单张表。
已选择对象	数据默认存储在目标Bucket的`/<目标OSS数据库路径>/<表名称>`目录中。如需更改数据存储的子目录，或使用KMS对集成的数据进行加密，请在已选择对象框中右键单击该表，然后在编辑表对话框中配置表信息。配置信息，请参见配置说明。

单击确认。

运行数据集成任务。
在页面左上角，单击试运行。
说明
- 在页面下方的运行日志区域的返回信息中，如出现status SUCCEEDED，则表示运行成功；如出现status FAILED，则表示运行失败。
- 如果运行失败，可以在运行日志区域查看执行失败的原因，修改配置后重新尝试。
检查输出。
1. 登录OSS管理控制台。
2. 在左侧导航栏，单击Bucket 列表。
3. 在Bucket 名称文本框，输入准备工作中创建的Bucket并搜索。
4. 单击目标Bucket的名称。
5. 在/<目标OSS数据库路径>/<表名称>目录中查看结果信息。
  说明
  <目标OSS数据库路径>为配置数据集成任务中配置的目标OSS数据库路径，<表名称>为待集成的表名称或配置说明中的表名称。

配置说明

配置	说明
Schema名称	无需处理。
表名称	将会在目标Bucket中映射为存储数据的子目录。
开启KMS加密	是否使用KMS进行加密。
开启页脚加密	是否对目标Bucket中的页脚数据（列名元数据）进行加密。
KMS实例ID	选择准备工作中购买的KMS软件密钥管理实例。
KMS加密凭据ID	选择准备工作中创建的通用凭据。
KMS加密算法	选择使用的KMS加密算法。
是否加密列	选中后将对该列数据进行加密。