代理选型
当您的源数据位于自建 IDC、本地服务器,或需通过专线/VPN 上云时,阿里云在线迁移服务无法直接访问源端数据。此时,需要在 ECS 实例上部署代理程序,作为连接数据源与阿里云在线迁移服务的安全、高速桥梁。正确配置代理是实现高带宽、低延迟迁移的关键。
工作原理
源端部署代理
将自建存储(如IDC机房内的数据)或第三方云存储的数据迁移至阿里云 OSS 时,可以采用源端部署代理的模式。
工作机制:代理作为数据读取的安全入口。在线迁移服务通过该代理,主动拉取您源端的数据,并将其转发至阿里云内部的迁移服务端,最终写入目标 OSS Bucket。
数据流向:数据源 → 代理 ECS → 在线迁移服务端 → 目的 OSS。
目的端部署代理
在某些场景,如目的端是本地文件系统LocalFs,需采用目的端部署代理的模式。
工作机制:代理作为数据写入的安全出口。在线迁移服务通过该代理,将数据写入您的本地存储系统。
数据流向:OSS数据源 → 在线迁移服务端 → 代理 ECS → 目标存储。
步骤一:选择网络方案
根据实际迁移场景,选择合适的代理 ECS 与在线迁移服务之间的网络连接方式:
VPC 连接(推荐):当代理 ECS 与在线迁移服务部署在同一阿里云地域时,建议使用 VPC 内网通信,具有更高安全性、稳定性和更低延迟。需确保代理 ECS 能访问所在地域在线迁移服务的内网域名,例如:使用在线迁移服务华北2(北京)地域,则此代理必须可以访问在线迁移服务华北2(北京)地域的内网域名 {TunnelId}.cn-beijing.mgw-tc-internal.aliyuncs.com。
公网连接:当代理 ECS 与在线迁移服务跨地域部署,或代理部署在本地服务器或第三方云上时,可通过公网接入。需确保代理具备公网 IP,并能访问所在地域的公网域名,例如:使用在线迁移服务华北2(北京)地域,则此代理必须可以访问在线迁移服务华北2(北京)地域的公网域名{TunnelId}.cn-beijing.mgw-tc.aliyuncs.com。
完成网络方案选择后,即可规划代理 ECS 的实例规格与数量。
步骤二:规划 ECS 选型
根据业务迁移目标带宽和数据特性,合理选择 ECS 的 CPU、内存和网络带宽配置:
1. CPU
最低要求:不低于 4 核。
推荐配置:当迁移海量小文件(文件处理 QPS > 1000 次/秒/台代理)时,CPU 会因高并发的数据迁移而成为瓶颈。此时,推荐选择 8 核或以上的 CPU。
2. 内存
最低要求:不低于 8 GB。
推荐配置:同样,在海量小文件场景下,高并发的数据迁移会占用大量内存,有内存用尽的风险。此时,推荐不低于16GB。
3. 网络带宽
这是决定迁移总效率的最关键指标,需要根据总带宽需求,反向推算出所需的 ECS 实例数量。
核心原则:所需 ECS 实例数量 = 目标总迁移带宽 / 单台 ECS 的网络带宽
计算示例: 假设目标总迁移带宽为 100 Gbps,并且在步骤一中选择了 VPC 方案,因此应关注 ECS 的内网带宽。
若选用 ecs.c7.2xlarge(单台内网带宽 5 Gbps),则需要 100 / 5 = 20 台。
若选用 ecs.c7.4xlarge(单台内网带宽 10 Gbps),则需要 100 / 10 = 10 台。
ECS的型号参考实例规格族。推荐的 ECS 实例规格及性能指标,请参见附录:推荐 ECS 实例规格表。
附录:推荐 ECS 实例规格表
实例规格族 | vCPU (核) | 内存 (GiB) | 内网基础带宽 (Gbit/s) |
ecs.c7.2xlarge | 8 | 16 | 5 |
ecs.c7.4xlarge | 16 | 32 | 10 |
ecs.c7nex.2xlarge | 8 | 16 | 10 |
ecs.c7nex.4xlarge | 16 | 32 | 20 |