若您要在DataWorks中使用EMR Serverless Ray进行Ray作业开发,需先将EMR Serverless Spark工作空间下的Ray集群绑定为DataWorks的Serverless Ray计算资源。绑定完成后,可在数据开发(Data Studio)中通过Serverless Ray节点选择该计算资源运行任务。
准备工作
已在E-MapReduce中创建EMR Serverless Spark工作空间,并在该工作空间下创建可用的Ray集群。
DataWorks已创建工作空间,操作者使用的RAM账号已加入工作空间并设置为工作空间管理员角色。
重要仅支持选择使用新版数据开发(Data Studio)的工作空间。
已使用Serverless资源组,并绑定到目标DataWorks工作空间。
使用限制
地域限制:与绑定EMR Serverless Spark计算资源一致,支持华东1(杭州)、华东2(上海)、华北2(北京)、华北3(张家口)、华北6(乌兰察布)、华南1(深圳)、西南1(成都)、中国香港、日本(东京)、新加坡、印度尼西亚(雅加达)、德国(法兰克福)、美国(硅谷)、美国(弗吉尼亚)等。实际支持地域以控制台为准。
权限限制:
操作人
具备权限说明
阿里云主账号
无需额外授权。
阿里云RAM账号/RAM角色
DataWorks管理权限:仅拥有运维和空间管理员角色的空间成员,或拥有
AliyunDataWorksFullAccess权限的空间成员可创建计算资源。授权详情请参见授权用户空间管理员权限。EMR Serverless Spark服务权限:需具备
AliyunEMRServerlessSparkFullAccess权限策略,以及目标Spark工作空间Owner权限。详情请参见管理用户和角色。
绑定Serverless Ray计算资源
在计算资源列表页,将Ray集群绑定为DataWorks的Serverless Ray计算资源。
选择绑定计算资源类型。
单击绑定计算资源,进入绑定计算资源页面。
在绑定计算资源页面,选择计算资源类型为Serverless Ray,进入绑定Serverless RAY计算资源配置向导。
在配置向导中填写绑定信息。
在第二步请填写信息页面,根据下表配置参数。
参数
说明
Spark工作空间
选择Ray集群所在的EMR Serverless Spark工作空间。您也可在下拉菜单中创建Spark工作空间。
付费类型
由所选Spark工作空间决定,例如按量付费,无需单独修改。
RAY集群
选择需要绑定的Ray集群。列表中展示当前Spark工作空间下已创建的Ray集群。
引擎版本
根据所选Ray集群自动展示,例如引擎版本与内置的Ray、Python版本信息。具体以控制台显示为准。
计算资源实例名
用于在DataWorks任务中标识该计算资源。任务运行时在节点中选择对应的计算资源实例名称即可使用该绑定。
描述
可选,用于备注该计算资源的业务用途,便于后续管理。
重要请注意,为了在DataWorks中正常获取集群信息,请勿在E-MapReduce Serverless Spark工作空间中移除DataWorks服务关联角色
AliyunServiceRoleForDataWorksOnEmr和AliyunServiceRoleForDataWorksEngine的管理员角色。单击确认,完成Serverless Ray计算资源绑定。
后续操作
绑定完成后,您可在数据开发中创建Serverless Ray节点,并选择本计算资源运行Ray作业。