文档

开通OSS-HDFS服务

更新时间:
重要

本文中含有需要您注意的重要提示信息,忽略该信息可能对您的业务造成影响,请务必仔细阅读。

您可以在新建Bucket时开通OSS-HDFS服务,也可以为已创建的Bucket开通OSS-HDFS服务。

前提条件

华东1(杭州)、华东2(上海)、华北1(青岛)、华北2(北京)、华北6(乌兰察布)、华南1(深圳)、华南3(广州)、华北3(张家口)、中国香港、日本(东京)、新加坡、德国(法兰克福)、美国(硅谷)、美国(弗吉尼亚)、印度尼西亚(雅加达)、泰国(曼谷)地域的存储空间支持使用OSS-HDFS服务。无地域属性的存储空间不支持使用OSS-HDFS服务。

费用说明

  • 元数据管理费用

    使用OSS-HDFS服务时,会产生元数据管理费用,但该计费项暂不收费。更多信息,请参见OSS-HDFS元数据管理费用

  • 数据使用费用

    使用OSS-HDFS服务时,数据块采用了OSS的存储方式。因此,OSS的计量计费方式适用于OSS-HDFS服务中的数据块。更多信息,请参见计费概述

使用限制

  • OSS-HDFS服务开通后不支持关闭,请谨慎操作。

  • 仅允许通过专有网络VPC的方式访问OSS-HDFS服务。创建专有网络VPC时,需确保创建的VPC与待开启OSS-HDFS服务的Bucket位于相同的地域。

  • 归档、冷归档以及深度冷归档存储类型Bucket不支持开通OSS-HDFS服务。

  • 禁止以非OSS-HDFS提供的方式对OSS-HDFS的数据存储目录.dlsdata/及目录下的Object执行写入操作,例如重命名目录、删除目录或者删除Object等,否则会影响OSS-HDFS服务的正常使用或者引发数据丢失的风险。

  • 在删除已开通OSS-HDFS服务的Bucket之前,您需要按顺序先删除OSS-HDFS服务中的元数据,然后删除OSS数据,否则无法删除Bucket。

开通OSS-HDFS服务

警告

对Bucket开通OSS-HDFS服务时,默认会自动创建角色AliyunOSSDlsDefaultRole,该角色关联的权限策略为AliyunOSSDlsRolePolicy。为确保使用OSS-HDFS服务的用户可正常访问OSS-HDFS的数据存储目录.dlsdata/及目录下的任意Object,请勿禁用、修改或者删除该角色以及该角色关联的权限策略。

创建Bucket时开通OSS-HDFS服务

使用阿里云账号或者具有管理员权限的RAM用户在首次创建Bucket时,需要按照页面指引先完成角色授权操作,然后再开启HDFS服务。具体操作,请参见创建存储空间

为已创建的Bucket开通OSS-HDFS服务

使用阿里云账号或者具有管理员权限的RAM用户为已创建Bucket开通OSS-HDFS服务的操作步骤如下:

  1. 完成RAM授权。

    1. 登录OSS管理控制台

    2. 单击左侧导航栏的Bucket列表,然后单击待开通OSS-HDFS服务的Bucket名称。

    3. 在左侧导航栏,选择数据湖管理 > HDFS服务

    4. HDFS服务页签,单击前往授权,然后按照页面指引完成授权操作。HDFS1

  2. 开通HDFS服务。

    1. HDFS服务页签,单击开通HDFS服务2

    2. 在弹出的对话框,单击确定

      开通后,您仍然可以正常使用OSS服务。如果您希望使用OSS-HDFS服务,需要使用HDFS服务Endpoint。您可以前往Bucket概览页的访问端口区域获取HDFS服务的Endpoint,示例值为cn-hangzhou.oss-dls.aliyuncs.com

后续步骤

开通OSS-HDFS服务后,如果您希望授权RAM用户以EMR集群与非EMR集群的方式接入OSS-HDFS服务,请参见授权访问OSS-HDFS服务