本文介绍如何开通并授权访问OSS-HDFS服务。

前提条件

华东1(杭州)、华东2(上海)、华北2(北京)、华南1(深圳)、华北3(张家口)、中国香港、新加坡、德国(法兰克福)、美国(硅谷)、美国(弗吉尼亚)、印度尼西亚(雅加达)地域支持使用OSS-HDFS服务。

费用说明

  • 元数据管理费用

    使用OSS-HDFS服务时,会产生元数据管理费用,但该计费项暂不收费。更多信息,请参见OSS-HDFS元数据管理费用

  • 数据使用费用

    使用OSS-HDFS服务时,数据块采用了OSS的存储方式。因此,OSS的计量计费方式适用于OSS-HDFS服务中的数据块。更多信息,请参见计费概述

使用限制

  • 仅支持Bucket Owner以及被授予相关访问权限的RAM用户开通并访问OSS-HDFS服务。关于RAM用户所需的权限说明,请参见访问权限
  • 仅允许通过专有网络VPC的方式访问OSS-HDFS服务。创建专有网络VPC时,需确保创建的VPC与待开启OSS-HDFS服务的Bucket位于相同的地域。
  • OSS-HDFS服务开通后不支持关闭,请谨慎操作。
  • 归档以及冷归档存储类型Bucket不支持开通OSS-HDFS服务。
  • 禁止以非OSS-HDFS提供的方式对OSS-HDFS的数据存储目录.dlsdata/及目录下的Object执行写入操作,例如重命名目录、删除目录或者删除Object等,否则会影响OSS-HDFS服务的正常使用或者引发数据丢失的风险。
  • 在删除已开通OSS-HDFS服务的Bucket之前,您需要先删除OSS-HDFS服务中的元数据,否则无法删除Bucket。

开通方式

警告

对Bucket开通OSS-HDFS服务时,默认会自动创建角色AliyunOSSDlsDefaultRole,该角色关联的权限策略为AliyunOSSDlsRolePolicy。为确保使用OSS-HDFS服务的用户可正常访问OSS-HDFS的数据存储目录.dlsdata/及目录下的任意Object,请勿删除该角色,或者编辑该角色关联的权限策略。

  • 创建Bucket时开通并授权访问OSS-HDFS服务

    具体操作,请参见创建Bucket

  • 对已创建的Bucket开通并授权访问OSS-HDFS服务
    1. 完成RAM授权
      1. 登录OSS管理控制台
      2. 单击左侧导航栏的Bucket列表,然后单击待开通OSS-HDFS服务的Bucket名称。
      3. 在左侧导航栏,选择数据湖管理 > HDFS服务
      4. HDFS服务页签,单击前往授权,然后按照页面指引完成授权操作。HDFS1
    2. 开通HDFS服务
      1. HDFS服务页签,单击开通HDFS服务2
      2. 在弹出的对话框,单击确定

访问权限

如果您通过RAM用户开通并访问OSS-HDFS服务,请确保RAM用户拥有以下权限:

{
    "Statement": [
        {
          "Effect": "Allow",
          "Action": "oss:ListObjects",
          "Resource": [
            "acs:oss:*:*:*"
          ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "oss:GetBucketInfo",                
                "oss:PostDataLakeStorageFileOperation"
            ],
            "Resource": "*"
        },
        {
            "Effect": "Allow",
            "Action": "oss:*",
            "Resource": [
                "acs:oss:*:*:*/.dlsdata",
                "acs:oss:*:*:*/.dlsdata*"
            ]
        }
    ],
    "Version": "1"
}

关于为RAM授权的具体操作,请参见为RAM用户授权