数据地址
在线迁移服务通过数据地址访问相应的数据源,可用作迁移任务的源地址或目标地址。数据地址定义了数据的存储类型、具体位置、访问方式等,确保迁移服务能够安全、高效地读取或写入数据。
基础配置
名称(Name):数据地址的唯一标识符,须遵循以下命名规范:
名称不能为空,长度限制为3-63个字符。
支持英文小写字母、数字、短划线(-)和下划线(_)。
采用UTF-8编码,不得以短划线(-)或下划线(_)开头。
类型(Type):指定数据地址对应的存储服务类型,支持以下选项:
对象存储:包括阿里云OSS、AWS S3、腾讯云COS、华为云OBS、火山引擎TOS、Azure Blob等主流云存储服务。
文件系统:
本地文件系统LocalFs:支持本地磁盘存储或已挂载的NAS/CPFS文件系统。
清单:
HTTP清单:包含多个支持HTTP协议访问的URL列表。
对象存储清单:阿里云OSS清单、AWS S3清单等。
存储空间配置
存储桶(Bucket):指定数据存储的容器名称(如AWS S3存储桶名称)。
访问密钥(Access Key ID / Secret Access Key):用于身份验证的访问密钥对,第三方云存储的访问密钥需具备源数据读取权限。
访问域名(Domain):源存储服务的访问端点地址(例如:AWS S3的Endpoint域名)。
前缀:定义待迁移或待写入的路径前缀。指定前缀会改变文件的Key,示例如下:
源数据地址指定前缀:源数据地址前缀设置为
example/src/
,目的数据地址未设置前缀,文件example/src/example.jpg
迁移到目的端的完整路径为example.jpg
。目的数据地址指定前缀:源数据地址未设置前缀,目的数据地址前缀设置为
example/dest/
,文件example.jpg
迁移到目的端的完整路径为example/dest/example.jpg
。源和目的数据地址都指定前缀:源数据地址前缀设置为
example/src/
,目的数据地址前缀设置为example/dest/
,文件example/src/example.jpg
迁移到目的端的完整路径为example/dest/example.jpg
。
区域(RegionId):存储桶所在的区域标识,如oss-cn-hangzhou。当数据类型为公有云OSS时,必须设置该字段,无需设置域名,在线迁移服务自动选择合适的访问域名。
角色(Role):访问数据的RAM角色。当数据类型为公有云OSS时,必须设置该字段,无需设置访问密钥,在线迁移服务将通过该角色读写数据,减少使用AK的风险。
清单配置
数据清单迁移的场景下,除了以上存储空间配置,还需要配置清单的基本信息。
清单位置(InvLocation):清单文件的存储位置(如OSS、S3)。
清单存储桶(InvBucket):清单文件所在的数据空间。
清单访问域名(InvDomain):清单存储桶访问域名。
清单路径(InvPath):清单文件名,名为manifest的JSON文件,定义了清单的schema信息以及一系列CSV文件。
清单访问AccessKey(InvAccessId / InvAccessSecret):访问清单存储桶的密钥ID和密钥Key。
清单所在区域(InvRegionId):清单存储桶的区域标识,如oss-cn-hangzhou。当清单存储桶位于公有云OSS时,必须设置该字段,无需设置清单访问域名,在线迁移服务自动选择合适的访问域名。
清单角色(InvRole):清单存储桶访问角色。当清单存储桶位于公有云OSS时,必须设置该字段,无需设置访问密钥,在线迁移服务将通过该角色读取清单,减少使用AK的风险。