什么是在线迁移服务

更新时间:

当业务需要从AWS S3、腾讯云COS等多个第三方云存储或本地IDC迁移数据至阿里云OSS时,传统的数据迁移方式通常涉及复杂的开发和漫长的传输周期。在线迁移服务提供了一个免开发、可视化的统一迁移平台,您仅需通过简单配置,即可高效、安全地将海量数据从不同来源集中迁移至OSS。

工作原理

在深入了解本服务前,建议您先了解什么是对象存储OSS

在线迁移服务作为一种数据传输服务,核心是创建并执行一个迁移任务。该任务定义了数据的来源、目的以及迁移规则。在线迁移服务通过读取源端数据,经由网络传输,最终写入到指定的OSS Bucket。

根据您的源数据位置和网络环境,在线迁移服务提供两种迁移模式:普通模式代理模式

模式

适用场景

工作机制

普通模式

源数据位于可通过公网访问的第三方云存储服务,如AWS S3、腾讯云COS、华为云OBS等。

在线迁移服务通过互联网直接访问并拉取源数据地址的数据,然后写入目标OSS。

代理模式

源数据位于通过公网无法直接访问的环境,如企业本地IDC、本地文件系统,或需要通过专线/VPN上云的场景。

在线迁移服务通过部署在用户侧的代理程序来拉取数据,再传输至目标OSS。

配置迁移任务前,需了解以下核心概念:

  • 数据地址:用于描述数据源的访问信息,可作为迁移的源端或目的端。数据地址包括类型(如 AWS S3)、存储空间(Bucket)、访问域名(Domain)、访问密钥等关键信息,在线迁移服务通过数据地址访问对应的数据源。

  • 迁移任务:在线迁移服务的核心操作单元。通过执行迁移任务,将源端数据迁移至目的端存储。任务需指定源数据地址和目的数据地址,并支持配置限流、同名文件覆盖策略、审计、过滤器等参数。

  • 代理:连接用户数据源与在线迁移服务的数据桥梁,是部署在用户侧的应用程序。数据地址可关联某通道下的多个代理;对于已关联代理的数据地址,在线迁移服务将通过代理访问数据源。

  • 通道:在代理模式下,通道是描述代理与在线迁移服务之间数据链路的逻辑概念。一个通道可包含多个代理,每个代理归属于一个通道。

重要特性

支持的数据源

  • 对象存储服务: 阿里云 OSS、亚马逊 AWS S3、腾讯云 COS、华为云 OBS、谷歌云 GCS、微软 Azure Blob 等。

  • 本地文件系统: 本地磁盘、挂载到服务器的 NAS/CPFS 等。

  • HTTP 清单文件:包含多个URL的文件清单,在线迁移服务批量下载文件进行迁移。

迁移方式

普通模式和代理模式,支持公网、专线等不同网络场景。普通模式和代理模式不需特殊指定,当您的数据地址关联了代理,就会走代理模式,反之则是普通模式。

普通模式

在线迁移服务作为云端服务,直接通过公网从源存储拉取数据,并写入到目标阿里云OSS中。整个过程无需在您的环境中部署任何组件。

以下是使用普通模式将第三方数据源迁移到阿里云OSS:

第三方云-OSS迁移流程图

代理模式

您需要在源数据所在的网络环境中部署代理,该代理作为一个数据通道,在线迁移服务通过代理读取源端数据,最终写入阿里云OSS。

以下是使用代理模式将第三方数据源迁移到阿里云OSS:

使用代理迁移流程图

迁移配置选项

配置项

说明

流量控制

限制任务的最大带宽(Mb/s)和每秒迁移文件数(QPS),防止迁移对业务造成影响。

同名文件处理

可配置为不覆盖全部覆盖,或根据最后修改时间覆盖

  • 不覆盖:不迁移该文件。

  • 全部覆盖:源地址中的文件会覆盖目的地址中的文件。

  • 根据最后修改时间覆盖:仅当源文件的最后修改时间晚于目标文件时,才会执行覆盖操作。

文件过滤器

文件名最后修改时间等条件筛选迁移文件。

自动调度

支持配置定时或周期性执行,实现增量迁移或定期备份。

迁移报告

每次任务执行后都会生成详细报告,包含迁移概览(迁移文件数量、迁移文件大小等)和每个文件的迁移结果,便于审计和核对。

使用方式

  • 通过控制台管理在线迁移服务,登录阿里云在线迁移服务管理控制台可立即前往在线迁移服务使用页面,通过图形化界面进行所有操作,直观便捷。

  • 如果您需要进行批量化、自动化的任务管理(如创建大量数据地址或迁移任务),可以使用阿里云提供的SDK管理在线迁移服务,如创建数据地址、创建迁移任务等,将其集成到您自己的管理平台中。

服务协议

请参见闪电立方服务协议

说明

闪电立方服务协议包括在线迁移专用服务的相关条款。

相关服务

除在线迁移服务外,阿里云还提供离线迁移服务。使用离线迁移服务,您可以通过定制化的迁移设备(闪电立方),实现TBPB级别的本地数据迁移上云,致力于解决大规模数据传输效率、安全问题等难题。更多信息,请参见离线迁移(闪电立方)