OSS-HDFS服务支持在未部署任何导入和导出工具的情况下,直接将OSS元数据转换为OSS-HDFS元数据。
前提条件
已开通并授权访问OSS-HDFS服务。具体步骤,请参见开通OSS-HDFS服务。
仅华北3(张家口)地域支持将OSS元数据转换为OSS-HDFS元数据。
已提交工单申请使用OSS-HDFS服务的元数据转换功能。
使用限制
不支持将以下类型的OSS元数据转换为OSS-HDFS元数据:归档类型Object、冷归档类型Object、深度冷归档类型Object、软链接Symlink、通过追加上传方式生成的Appendable类型Object、通过SSE-KMS或者SSE-OSS加密的Object。
对于转换后的OSS-HDFS元数据,仅支持基础的读写操作,不支持的接口和操作包括但不限于Append、Truncate、Concat、randomWrite、XAttr、ACL、Snapshot。
风险说明
元数据转换任务开始执行后,请勿执行以下操作,否则导致转换任务失败。
请勿删除文件
如果删除被转换的文件,可能导致转换时找不到文件,造成转换任务执行失败。
请勿覆写文件
如果覆写被转换的文件,可能导致覆写的内容不会被转换。
请勿在OSS-HDFS目的端上传同名文件
如果在OSS-HDFS目的端上传同名文件,可能导致文件名冲突,造成转换任务执行失败。
请勿修改转换任务执行角色的权限
如果修改了转换任务执行角色AliyunOSSDLSTransferRole或者AliyunOSSRole的权限,可能导致无权限执行转换任务,造成转换任务执行失败。
请确保OSS中不存在同名文件和文件夹
如果转换任务配置的前缀匹配了同名文件和文件夹,例如配置的转换任务前缀为dir,OSS中存在文件dir以及文件夹dir/,可能出现只转换文件或者文件夹,或者转换任务失败,具体以任务运行时的导入顺序为准。
文件名不能以空格开头或结尾。
以空格开头或结尾的文件会转换失败,被记入不符合转换条件的计数。
转换后请务必确认数据完整性。
转换完成后,请务必再次确保数据完整。原始数据不要立即删除,可以通过转换为归档等方式来保存。
操作步骤
新建数据转换任务。
登录OSS管理控制台。
单击Bucket 列表,然后单击目标Bucket名称。
在左侧导航栏,选择 。
单击新建数据转换任务。
重要默认情况下,最多支持配置3条转换任务。
在数据转换任务配置页面,按以下说明配置必要参数,其他参数保留默认配置。
参数
说明
命中前缀
指定需要将哪些前缀的OSS数据转换为OSS-HDFS,最多可支持指定10个前缀。
日志存放路径
指定当前Bucket下用于存储日志的路径。
授权角色
下拉选择新建角色,然后按照页面指引完成AliyunOSSDLSTransferRole角色的创建操作,该角色用于授权数据转换功能访问您的云资源。
重要如果您此前已拥有AliyunOSSRole角色,也可以选择使用该角色授权数据转换功能访问您的云资源。
单击下一步,然后单击确定。
此时,任务处于空闲状态。
单击当前任务右侧操作栏下的启动任务。
此时,任务处于运行中状态,该状态下后台将扫描命中的文件,大约需要1小时完成扫描。待转换任务完成后,任务将返回空闲状态。
可选:单击当前任务右侧操作栏下的历史记录,查看导入信息。
转换完成后,您可以在数据导入目录下查看已成功转换的文件,还可以前往导入的错误信息目录下查看转换失败的原因。
可选:如果您在上一次转换任务完成后,需要对与指定前缀匹配的OSS元数据再次进行转换,需要先删除已经转换过的数据;或者更改转换前缀,指定不重复的增量文件路径,然后再次单击启动任务。
重要转换任务不支持同名文件的重复转换。
执行增量转换任务过程中,虽然最终任务会失败,但仍然会产生临时数据,占用额外的存储空间。因此,在执行重复转换任务失败之后,建议您查看历史记录中数据导入目录下的数据存放地址,及时清理临时数据。