代理选型

更新时间:

当您的源数据位于自建 IDC、本地服务器,或需通过专线/VPN 上云时,阿里云在线迁移服务无法直接访问源端数据。此时,需要在 ECS 实例上部署代理程序,作为连接数据源与阿里云在线迁移服务的安全、高速桥梁。正确配置代理是实现高带宽、低延迟迁移的关键。

工作原理

源端部署代理

将自建存储(如IDC机房内的数据)或第三方云存储的数据迁移至阿里云 OSS 时,可以采用源端部署代理的模式。

使用代理迁移流程图

  • 工作机制:代理作为数据读取的安全入口。在线迁移服务通过该代理,主动拉取您源端的数据,并将其转发至阿里云内部的迁移服务端,最终写入目标 OSS Bucket。

  • 数据流向:数据源 → 代理 ECS → 在线迁移服务端 → 目的 OSS。

目的端部署代理

在某些场景,如目的端是本地文件系统LocalFs,需采用目的端部署代理的模式。

image.png

  • 工作机制:代理作为数据写入的安全出口。在线迁移服务通过该代理,将数据写入您的本地存储系统。

  • 数据流向:OSS数据源 → 在线迁移服务端 → 代理 ECS → 目标存储。

步骤一:选择网络方案

根据实际迁移场景,选择合适的代理 ECS 与在线迁移服务之间的网络连接方式:

  • VPC 连接(推荐):当代理 ECS 与在线迁移服务部署在同一阿里云地域时,建议使用 VPC 内网通信,具有更高安全性、稳定性和更低延迟。需确保代理 ECS 能访问所在地域在线迁移服务的内网域名,例如:使用在线迁移服务华北2(北京)地域,则此代理必须可以访问在线迁移服务华北2(北京)地域的内网域名 {TunnelId}.cn-beijing.mgw-tc-internal.aliyuncs.com。

  • 公网连接:当代理 ECS 与在线迁移服务跨地域部署,或代理部署在本地服务器或第三方云上时,可通过公网接入。需确保代理具备公网 IP,并能访问所在地域的公网域名,例如:使用在线迁移服务华北2(北京)地域,则此代理必须可以访问在线迁移服务华北2(北京)地域的公网域名{TunnelId}.cn-beijing.mgw-tc.aliyuncs.com。

完成网络方案选择后,即可规划代理 ECS 的实例规格与数量。

步骤二:规划 ECS 选型

根据业务迁移目标带宽和数据特性,合理选择 ECS 的 CPU、内存和网络带宽配置

1. CPU

  • 最低要求:不低于 4 核。

  • 推荐配置:当迁移海量小文件(文件处理 QPS > 1000 次/秒/台代理)时,CPU 会因高并发的数据迁移而成为瓶颈。此时,推荐选择 8 核或以上的 CPU。

2. 内存

  • 最低要求:不低于 8 GB。

  • 推荐配置:同样,在海量小文件场景下,高并发的数据迁移会占用大量内存,有内存用尽的风险。此时,推荐不低于16GB。

3. 网络带宽

这是决定迁移总效率的最关键指标,需要根据总带宽需求,反向推算出所需的 ECS 实例数量。

  • 核心原则:所需 ECS 实例数量 = 目标总迁移带宽 / 单台 ECS 的网络带宽

  • 计算示例: 假设目标总迁移带宽为 100 Gbps,并且在步骤一中选择了 VPC 方案,因此应关注 ECS 的内网带宽

    • 若选用 ecs.c7.2xlarge(单台内网带宽 5 Gbps),则需要 100 / 5 = 20 台。

    • 若选用 ecs.c7.4xlarge(单台内网带宽 10 Gbps),则需要 100 / 10 = 10 台。

ECS的型号参考实例规格族。推荐的 ECS 实例规格及性能指标,请参见附录:推荐 ECS 实例规格表

附录:推荐 ECS 实例规格表

实例规格族

vCPU (核)

内存 (GiB)

内网基础带宽 (Gbit/s)

ecs.c7.2xlarge

8

16

5

ecs.c7.4xlarge

16

32

10

ecs.c7nex.2xlarge

8

16

10

ecs.c7nex.4xlarge

16

32

20