迁移实施

更新时间: 2023-08-08 09:36:18

本文介绍数据迁移的注意事项、迁移限制说明和操作步骤。

注意事项

使用在线迁移服务迁移数据时需要注意以下事项:

  • 在线迁移服务使用源站存储服务提供商公开的标准接口来访问源数据,其行为依赖于源站存储服务提供商的具体实现。

  • 在线迁移会占用源地址和目的地址的网络资源。若您的业务比较重要,建议您对迁移任务设置限速,或在空闲时间启动迁移任务。

  • 在线迁移前会检查源地址和目的地址的文件,但是若您源和目的地址有相同文件名的文件,且在迁移任务中配置了覆盖方式为覆盖,迁移时会直接覆盖目的地址的文件。若两个文件内容不同,必须更改文件名或做好备份。

警告

请您务必在迁移任务完成后,校验目的端迁移数据,确保数据无误。因您未在校验目的端迁移数据无误前删除源数据,导致数据丢失所引起的一切损失和后果均由您自行承担。

迁移限制说明

  • 目前仅支持单次迁移单个Bucket数据,无法将整个账号的数据一次性迁移。

  • AWS S3迁移数据的属性说明如下表所示:

    支持迁移的属性

    不支持迁移的属性

    x-amz-meta-*

    StorageClass

    LastModifyTime

    Acl

    Content-Type

    服务端加密

    Cache-Control

    标签Tagging

    Content-Encoding

    -

    Content-Disposition

    -

    Content-Language

    -

    Expires

    -

步骤一:选择地域

  1. 登录阿里云在线迁移服务管理控制台

  2. 在顶部菜单栏左上角处,选择源数据所在的地域,如下图所示。选择地域

    重要
    • 不同地域内的数据地址和迁移任务不通用,请谨慎选择。

    • 优先选择源数据所在的地域,如果没有源数据所在地对应的地域,请尽可能选择接近源数据所在的地域创建迁移任务。

    • 目的地址为阿里云OSS时,优先使用内网域名,可以在目的端开启传输加速来提高迁移速度。开启了传输加速的Bucket会收取传输加速费用。关于传输加速的更多信息,请参见传输加速

步骤二:创建源地址

  1. 选择在线迁移服务 > 地址管理,单击新建地址

  2. 创建数据地址页面,配置如下参数,然后单击确认

    参数

    是否必选

    说明

    名称

    长度为3~63个字符,支持英文小写字母、数字和特殊字符短划线(-)和下划线(_),区分大小写,utf8编码并且不能以短划线(-)和下划线(_)开头,不能为空。

    类型

    选择AWS S3

    域名

    填写源地址所在的地域。更多信息,请参见地域与域名关系对照表

    AccessKey Id

    输入用于迁移的访问密钥。迁移完成后删除。

    AccessKey Secret

    存储桶(Bucket)

    AWS S3空间名称(Bucket名称)。

    存储空间名称要求前后不带空格、换行、制表符等非法字符。

    前缀

    • 迁移全部数据:迁移整个Bucket中的数据。

      选择迁移全部数据时,无需填写Prefix。

    • 迁移部分数据:迁移指定目录(前缀)下的文件。格式要求以正斜线(/)开头和结尾,例如/data/to/oss//docs/

    通道

    选择需要使用的通道名称。

    重要

    仅通过专线或VPN迁移数据上云、自建存储数据迁移上云需要使用该参数。

    代理

    选择需要使用的代理名称。

    重要
    • 仅通过专线或VPN迁移数据上云、自建存储数据迁移上云需要使用该参数。

    • 指定通道下,最多可同时选择30个代理。

步骤三:创建目的地址

  1. 选择在线迁移服务 > 地址管理,单击新建地址

  2. 新建地址面板,配置如下参数,然后单击确定。

    参数

    是否必选

    说明

    名称

    输入目的数据地址名称。名称命名规则如下:

    • 名称不能为空,长度为3~63个字符。

    • 支持英文小写字母、数字和特殊字符短划线(-)和下划线(_),且区分大小写。

    • UTF-8编码并且不能以短划线(-)和下划线(_)开头。

    类型

    选择Alibaba OSS

    区域

    选择目的地址所在的地域,例如华东1(杭州)

    域名

    根据您目的地址所在地域,选择或者输入一个Endpoint。更多信息,请参见访问域名

    • 选择Endpoint。

      • http://oss-cn-endpoint.aliyuncs.com表示使用HTTP协议的公网Endpoint访问OSS。

      • https://oss-cn-endpoint.aliyuncs.com表示使用HTTPS协议的公网Endpoint访问OSS。

      • http://oss-cn-endpoint-internal.aliyuncs.com表示使用HTTP协议的内网Endpoint访问OSS。

      • https://oss-cn-endpoint-internal.aliyuncs.com表示使用HTTPS协议的内网Endpoint访问OSS。

      说明

      创建目的数据地址时,Endpoint与当前控制台地域关系为如下两种情况:

      • 相同地域:例如控制台选择华东1(杭州)地域,目的端为华东1(杭州)地域,创建目的数据地址时可以选择内网或公网Endpoint,推荐选择internal内网Endpoint。

      • 不同区域:例如控制台选择新加坡地域,目的端为韩国(首尔)地域,创建目的数据地址时只能选择公网Endpoint。

      建议在目的端开启传输加速来提高迁移速度,开启了传输加速的Bucket会收取传输加速费用。关于传输加速的更多信息,请参见传输加速

    • 输入Endpoint。

      单击下拉列表中的自定义,您可以输入自定义域名或传输加速的域名。

    重要

    HTTP与HTTPS的区别如下,推荐使用HTTPS。

    • HTTP不对数据做加密,为明文传输。

    • HTTPS会对数据进行加密,校验数据正确性,安全性较好,但会占用源地址的计算资源,相比HTTP耗时长。

    AccessKeyId

    输入用于迁移的AccessKey。

    说明

    如果需要跨账号迁移数据,此处请填写目的阿里云账号的AccessKey。

    AccessKey Secret

    存储桶(Bucket)

    选择迁移目的所在的存储桶(Bucket)。

    前缀

    您可以指定数据路径前缀将源数据迁移至指定目录下。格式要求不能以正斜线(/)开头,必须以正斜线(/)结尾,例如data/to/oss/

    • 指定前缀:例如设置源数据地址前缀为example/src/,此路径下有文件example.jpg,设置目的数据地址前缀为example/dest/,则迁移后文件example.jpg的完整路径为example/dest/example.jpg

    • 不指定前缀:不设置数据路径前缀时,会将源数据迁移至目的Bucket的根目录。

    通道

    选择需要使用的通道名称。

    重要

    仅通过专线或VPN迁移数据上云、自建存储数据迁移上云需要使用该参数。

    代理

    选择需要使用的代理名称。

    重要
    • 仅通过专线或VPN迁移数据上云、自建存储数据迁移上云需要使用该参数。

    • 指定通道下,最多可同时选择30个代理。

步骤四:创建迁移任务

  1. 选择在线迁移服务 > 迁移任务,单击新建任务

  2. 选择地址页面,配置如下参数,然后单击下一步

    参数

    是否必选

    说明

    名称

    输入迁移任务名称。名称命名规则如下:

    • 名称不能为空,长度为3~63个字符。

    • 支持英文小写字母、数字和特殊字符短划线(-)和下划线(_),且区分大小写。

    • UTF-8编码并且不能以短划线(-)和下划线(_)开头。

    源地址

    选择已创建的源地址。

    目的地址

    选择已创建的目的地址。

  3. 配置任务页面,配置如下参数。

    参数

    是否必选

    说明

    迁移带宽

    选择迁移带宽。

    • 默认:默认最大带宽1 Gbit/s,实际速度取决于文件大小和文件数量。

    • 指定上限:指定具体的带宽上限,最高为2 Gbit/s,如需更高带宽请联系售后技术支持。

    重要
    • 实际迁移带宽与数据源、网络、目的限流、文件大小等因素有关,不一定能达到指定上限。

    • 请您评估数据源、迁移目的、业务情况、网络带宽等,并根据实际情况选择合理数值,限流不恰当可能会影响业务的正常运行。

    每秒迁移文件数

    选择每秒迁移文件数。

    • 默认:默认最高1000个文件/秒。

    • 指定上限:指定具体的每秒迁移文件数。最高2000个文件/秒,如需更高每秒迁移文件数请联系售后技术支持。

    重要
    • 实际迁移带宽与数据源、网络、目的限流、文件大小等因素有关,不一定能达到指定上限。

    • 请您评估数据源、迁移目的、业务情况、网络带宽等,并根据实际情况选择合理数值,限流不恰当可能会影响业务的正常运行。

    覆盖方式

    选择同名文件的覆盖方式。

    • 不覆盖:不迁移该文件。

    • 全部覆盖:源地址中的文件会覆盖目的地址中的文件。

    • 根据最后修改时间覆盖

      • 当源地址中的文件最后修改时间晚于目的地址中的文件最后修改时间时,目的地址中的文件会被覆盖。

      • 当源地址中的文件最后修改时间与目的地址中的文件最后修改时间相同时,若二者的Size和Content-Type有一项不同,则目的地址中的文件会被覆盖。

    迁移日志

    迁移日志推送方式。

    • 不推送(默认):不推送迁移日志。

    • 推送:将迁移日志推送至日志服务SLS,可在SLS上查看迁移日志。

    • 仅推送错误日志:仅将错误迁移日志推送至日志服务SLS,可在SLS上查看错误迁移日志。

    当选择推送仅推送错误日志时,在线迁移服务会在日志服务SLS中创建名称为aliyun-oss-import-log-阿里云账号ID-当前控制台地域的Project,例如aliyun-oss-import-log-137918634953****-cn-hangzhou。

    重要

    当选择推送迁移日志时,请务必满足如下2点,如未满足以下2点,会导致迁移任务异常。

    • 已开通SLS服务。

    • 已在日志服务授权项授权页面中同意授权。

    日志服务授权

    迁移日志选择推送时出现该选项。

    单击授权进入云资源访问授权页面,页面会对应创建AliyunOSSImportSlsAuditRole角色,并对角色做授权,请单击同意授权完成授权。

    文件名

    文件名过滤器。

    支持排除包含两种过滤规则,支持简单的正则表达式,请参见RE2库的正则表达式语法。例如:

    • .*\.jpg$表示以.jpg结尾的所有文件。

    • ^file.*默认表示根目录下以file开头的所有文件。

      如果源数据地址设置了前缀,例如源数据地址前缀为data/to/oss/,则需要使用^data/to/oss/file.*来匹配指定前缀下以file开头的所有文件。

    • .*/picture/.*表示匹配某一级为picture的子目录。

    重要
    • 当过滤规则为包含时,符合规则的文件都会被迁移,如果有多条规则,符合任意一个条件的文件都会被迁移。

      例如2个文件picture.jpgpicture.png,设置一条包含规则过滤.*\.jpg$,此时只会迁移picture.jpg文件,如果同时也设置了包含规则过滤.*\.png$,则2个文件都会被迁移。

    • 当过滤规则为排除时,符合规则的文件都不会被迁移,如果有多条规则,符合任意一个条件的文件都不会被迁移。

      例如2个文件picture.jpgpicture.png,设置一条排除规则过滤.*\.jpg$,此时只会迁移picture.png,如果同时也设置了排除规则过滤.*\.png$,则2个文件都不会被迁移。

    • 排除规则优先。当一个文件既在排除规则中又在包含规则中,则文件不会被迁移。

      例如文件file.txt,设置排除规则过滤.*\.txt$文件,并同时设置包含规则过滤file.*,则此时file.txt文件不会被迁移。

    文件修改时间

    文件最后一次修改时间过滤器。

    可指定文件最后一次修改时间作为过滤规则。如果指定了时间范围,则只迁移文件最后一次修改时间在指定时间范围内的文件,具体规则如下。

    • 当仅指定开始时间为2019年01月01日,不指定结束时间时,则只迁移文件最后一次修改时间晚于等于2019年01月01日的文件。

    • 当仅指定结束时间为2022年01月01日,不指定开始时间时,则只迁移文件最后一次修改时间早于等于2022年01月01日的文件。

    • 当指定开始时间为2019年01月01日,结束时间为2022年01月01日,则迁移文件最后一次修改时间范围在晚于等于2019年01月01日,且早于等于2022年01月01日的文件。

    执行时间

    选择迁移任务的执行时间。

    • 立即执行:立即执行当前任务。

    • 指定执行时间:指定任务执行期间每天的执行时间段。默认会在指定的起始时间启动任务,在指定的停止时间暂停任务。

  4. 阅读在线迁移服务协议,选中我已理解并确认,合规承诺声明且当迁移任务完成时,我有确认迁移数据一致性的义务和责任,然后单击下一步

  5. 检查配置信息,确认无误后,单击确定,等待迁移任务执行。

阿里云首页 在线迁移服务 相关技术圈