阿里云首页 Databricks数据洞察

OSS访问服务

首次使用Databricks数据洞察服务创建集群时,需要使用主账号为Databricks数据洞察服务授权名为AliyunDDIEcsDefaultRole的系统默认角色。同时需要您创建一个系统目录存储Bucket。

背景信息

关于角色详细信息,具体可以参见RAM角色概览

  • 通过授予AliyunDDIEcsDefaultRole角色,您创建的Databricks数据洞察集群可以以免AK的方式访问阿里云OSS资源,详细信息请参见基于MetaService免AccessKey访问阿里云资源注意 首次使用Databricks数据洞察服务时,必须用主账号完成默认角色授权和Bucket创建,否则子账号和主账号不能使用Databricks数据洞察。

角色授权流程

1. 首次使用Databricks数据洞察服务创建集群时,会弹窗提示授权。

创建集群角色授权弹窗

2. 点击单击前往RAM进行授权。单击同意授权,将默认角色AliyunDDIEcsDefaultRole授予给Databricks数据洞察服务(spark)。

同意授权

3. 完成以上授权后,您需要刷新Databricks数据洞察控制台,然后即可进行相关操作。如果您想查看AliyunDDIEcsDefaultRole相关的详细策略信息,您可登录RAM的控制台查看。

AliyunDDIEcsDefaultRole权限内容

默认角色AliyunDDIEcsDefaultRole包含系统权限策略为AliyunDDIEcsDefaultRolePolicy,OSS相关权限内容如下。

 "Action": [
   "oss:GetObject",
   "oss:ListObjects",
   "oss:PutObject",
   "oss:DeleteObject",
   "oss:ListBuckets",
   "oss:AbortMultipartUpload",
   "oss:ListMultipartUploads"
 ]

系统目录Bucket创建

  1. 使用主账号首次创建集群,并完成必填信息填写。

  2. 单击创建按钮,弹出创建OSS Bucket对话框。OSS bucket创建

  3. 单击Bucket名称复制图标

  4. 单击OSS控制台,跳转到OSS控制台。

  5. 单击创建bucketOSS Bucket

  6. 粘贴Bucket名称

  7. 选择区域

  8. 单击确定

  9. 返回集群创建页面,单击已完成Bucket。

  10. 首次使用Bucket注意事项

警告

1. 上述首次使用DDI产品创建的Bucket为系统目录Bucket,不建议存放数据,您需要再创建一个Bucket来读写数据。

2. OSS Bucket如果开启了服务端加密,需要向AliyunDDIEcsDefaultRole里额外添加KMS服务的系统策略AliyunKMSFullAccess。

说明

DDI访问OSS路径结构:OSS://BucketName/Object

  • BucketName为您的存储空间名称;

  • Object为上传到OSS上的文件的访问路径。

例:读取在存储空间名称为databricks-demo-hangzhou文件路径为demo/The_Sorrows_of_Young_Werther.txt的文件

// 从oss地址读取文本文档
val text = sc.textFile("oss://databricks-demo-hangzhou/demo/The_Sorrows_of_Young_Werther.txt")