若您要使用DataWorks进行MaxCompute任务的开发、管理,需先将您的MaxCompute项目绑定为DataWorks的MaxCompute计算资源。绑定完成后,可在DataWorks的各功能模块使用该计算资源连接MaxCompute项目,进行相应的数据同步、数据开发、数据分析等操作。
使用限制
-
地域限制:华东1(杭州)、华东2(上海)、华北2(北京)、华北3(张家口)、华北6(乌兰察布)、华南1(深圳)、西南1(成都)、中国香港、日本(东京)、新加坡、马来西亚(吉隆坡)、印度尼西亚(雅加达)、德国(法兰克福)、英国(伦敦)、美国(硅谷)、美国(弗吉尼亚)。
-
当MaxCompute项目和DataWorks工作空间属于同地域、同阿里云账号时,MaxCompute才可创建为计算资源。
-
权限限制:
产品
操作人
具备权限说明
DataWorks侧
阿里云主账号
无需额外授权。
阿里云RAM账号/RAM角色
仅拥有运维和空间管理员角色的空间成员,或拥有
AliyunDataWorksFullAccess权限的空间成员可创建计算资源,您为空间成员授权即可。MaxCompute侧
阿里云RAM账号/RAM角色
绑定计算资源时:需拥有MaxCompute的odps:ListProjects权限,以及目标MaxCompute项目的Super_Administrator权限。
当作为默认访问身份时:需拥有MaxCompute项目的admin或super_administrator权限,当计算资源绑定完成后,该账号或角色将会被MaxCompute生产项目添加为Role_Project_Scheduler角色。
当前工作空间下的生产数据,均归属于创建计算资源时所指定的生产环境默认访问身份。其他账号如需操作及访问生产表,需在安全中心申请相关权限。
-
查看已绑定资源所在地域:可在 DataWorks 工作空间详情页面,或管理中心的计算资源列表中,查看已绑定计算资源的详细信息,包括 MaxCompute 项目所在地域,以排查跨地域绑定失败等问题。
前提条件
-
已开通与DataWorks地域一致的MaxCompute产品,并创建MaxCompute项目。
-
DataWorks已创建工作空间,操作者使用的RAM账号已加入工作空间并设置为工作空间管理员角色。
说明DataWorks的工作空间分为简单模式工作空间和标准模式工作空间,在创建空间时需注意简单模式和标准模式的区别。
-
已为工作空间绑定资源组,且确保网络连通。
-
使用Serverless资源组时,只需确保MaxCompute计算资源与Serverless资源组连通性正常即可。
-
使用旧版独享型资源组时,需确保MaxCompute计算资源与对应场景下的独享调度资源组连通性正常。
-
新版数据开发:绑定MaxCompute计算资源
为使用新版数据开发(Data Studio)的工作空间绑定MaxCompute计算资源。
进入计算资源列表页
-
登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的,在下拉框中选择对应工作空间后单击进入管理中心。
-
在左侧导航栏单击计算资源,进入计算资源列表页。
绑定MaxCompute计算资源
在计算资源列表页,配置绑定MaxCompute计算资源。
-
选择绑定计算资源类型。
-
单击绑定计算资源,进入绑定计算资源页面。
-
在绑定计算资源页面选择计算资源类型为MaxCompute,进入绑定MaxCompute计算资源配置页面。
-
-
配置MaxCompute计算资源。
在绑定MaxCompute计算资源配置页面,根据下表内容进行相应配置。
参数
说明
MaxCompute项目
选择需要绑定的MaxCompute项目,您可以创建MaxCompute内部项目或创建MaxCompute外部项目,创建完成后,选择创建的新项目即可。
说明-
如果创建工作空间为标准工作空间,则此处需要分别为生产和开发环境选择MaxCompute项目,且需绑定不同的MaxCompute项目。
-
MaxCompute的计费项与计费方式概述。
-
若无法选择目标MaxCompute项目,则请授予当前登录账号该项目的Super_Administrator权限。
默认访问身份
定义在当前工作空间下,用什么身份访问该MaxCompute项目。
-
开发环境:当前仅支持使用执行者身份访问。
-
生产环境:支持使用阿里云主账号、阿里云RAM子账号和阿里云RAM角色访问。
说明-
仅阿里云主账号及拥有AdministratorAccess角色权限的用户或角色可选择所有身份访问。
-
当前工作空间下的生产数据,均归属于创建计算资源时所指定的生产环境默认访问身份。其他账号如需操作及访问生产表,需在安全中心申请相关权限。相关介绍及操作,请参见MaxCompute数据访问权限控制、审批中心概述。
Endpoint
指定DataWorks通过该计算资源访问MaxCompute项目的Endpoint地址。包括访问MaxCompute服务的Endpoint地址,以及上传、下载本地或云计算资源数据的Tunnel服务地址。支持以下两种配置:
-
自动适配:DataWorks根据实际情况自动适配,建议选择该项。
-
自定义配置:自定义情况下,您需手动配置MaxCompute Endpoint及Tunnel Endpoint,不同地域,Endpoint不同。
计算资源实例名
用于标识该计算资源,在任务运行时,通过计算资源实例名称来选择任务运行的计算资源。
-
-
测试连通性。
在连接配置区域,请选择DataWorks用于运行MaxCompute任务的资源组,并单击测试连通性以确保资源组可以正常访问您的MaxCompute项目。详情请参见网络连通方案概述。
说明如无可用的资源组,您可以新增和并绑定Serverless资源组到工作空间之后,再到工作空间的计算资源中测试与计算资源的连通性。
-
单击确认,完成MaxCompute计算资源配置。
说明-
绑定完成后,系统将自动在当前工作空间的数据源中同步创建一个同名的MaxCompute数据源。
-
计算资源绑定成功后平台会进行访问身份授权,即将访问身份账号添加至MaxCompute项目中,并为该身份映射MaxCompute对应的权限。在授权完成前,连通性测试可能会产生连通无权限报错,该场景下,保存计算资源后,您需稍作等待。
-
修改已绑定的 MaxCompute 计算资源
如需修改计算资源、更换 MaxCompute 项目或变更绑定,可在管理中心的计算资源列表页,找到目标 MaxCompute 计算资源,单击编辑按钮进入修改页面。您可在该页面修改已绑定的 MaxCompute 项目、默认访问身份、Endpoint 等配置。
旧版数据开发:绑定MaxCompute计算资源
为未使用新版数据开发(Data Studio)的工作空间绑定MaxCompute计算资源。
进入计算资源列表页
进入数据开发页面。
登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的,在下拉框中选择对应工作空间后单击进入数据开发。
-
在左侧导航栏单击
图标,进入计算资源列表页。
绑定MaxCompute计算资源
在计算资源列表页,配置绑定MaxCompute计算资源。
-
选择绑定计算资源类型。
-
单击新建计算资源,进入新建计算资源页面。
-
在新建计算资源页面选择计算资源类型为MaxCompute,进入新建计算资源配置页面。
-
-
配置MaxCompute计算资源。
在新建计算资源配置页面,根据下表内容进行相应配置。
参数
说明
认证方式
新建的计算资源仅支持通过阿里云账号及阿里云RAM角色进行认证。
所属云账号
只有添加当前阿里云主账号下的MaxCompute项目才可作为当前工作空间的计算资源。
MaxCompute项目名称
选择需要绑定的MaxCompute项目,若无目标项目,则需创建MaxCompute项目。
说明-
如果创建工作空间为标准工作空间,则此处需要分别为生产和开发环境选择MaxCompute项目,且需绑定不同的MaxCompute项目。
-
MaxCompute的计费项与计费方式概述。
-
若无法选择目标MaxCompute项目,则请授予当前登录账号该项目的Super_Administrator权限。
地域
选择MaxCompute项目所在的地域,若选择的MaxCompute项目与当前工作空间不在同一地域,则无法将MaxCompute项目创建为计算资源。
默认访问身份
定义在当前工作空间下,用什么身份访问该计算资源。
-
开发环境:当前仅支持使用执行者身份访问。
-
生产环境:支持使用阿里云主账号、阿里云RAM用户(即子账号)、阿里云RAM角色访问。
说明-
仅阿里云主账号及拥有AdministratorAccess角色权限的用户或角色可选择所有身份访问。
-
当前工作空间下的生产数据,均归属于创建计算资源时所指定的生产环境默认访问身份。其他账号如需操作及访问生产表,需在安全中心申请相关权限。相关介绍及操作,请参见MaxCompute数据访问权限控制、审批中心概述。
-
Endpoint
指定DataWorks通过该计算资源访问MaxCompute项目的Endpoint地址。包括访问MaxCompute服务的Endpoint地址,以及上传、下载本地或云计算资源数据的Tunnel服务地址。支持以下两种配置:
-
自动适配:DataWorks根据实际情况自动适配,建议选择该项。
-
自定义配置:自定义情况下,您需手动配置MaxCompute Endpoint及Tunnel Endpoint,不同地域,Endpoint不同。
-
-
测试连通性。
在连接配置区域,请选择DataWorks用于运行MaxCompute任务的资源组,并单击测试连通性以确保资源组可以正常访问您的MaxCompute项目。详情请参见网络连通方案概述。
说明如无可用的资源组,您可以新增和并绑定Serverless资源组到工作空间之后,再到工作空间的计算资源中测试与计算资源的连通性。
-
单击新建计算资源并绑定数据开发,完成MaxCompute计算资源配置。
说明-
绑定完成后,系统将自动在当前工作空间的数据源中同步创建一个同名的MaxCompute数据源。
-
计算资源绑定成功后平台会进行访问身份授权,即将访问身份账号添加至MaxCompute项目中,并为该身份映射MaxCompute对应的权限。在授权完成前,连通性测试可能会产生连通无权限报错,该场景下,保存计算资源后,您需稍作等待。
-
修改已绑定的 MaxCompute 计算资源
如需修改计算资源、更换 MaxCompute 项目或变更绑定,可在数据开发的计算资源列表页,找到目标 MaxCompute 计算资源,单击编辑按钮进入修改页面。您可在该页面修改已绑定的 MaxCompute 项目、默认访问身份、Endpoint 等配置。
后续操作
完成MaxCompute计算资源绑定后,将为工作空间自动创建MaxCompute数据源,您可在数据集成中使用该数据源,以及进行数据库节点(新版数据开发)或数据库节点(旧版数据开发)中使用。
常见问题
-
问题详情:MaxCompute计算资源在进行调度时出现
connect timed out, the possible reason is that the endpoint `http://service.odps.aliyun.com/api` is wrong, please check your endpoint报错。解决方式:检查MaxCompute计算资源的Endpoint配置是否正确,填写与资源地域相同的地域的VPC Endpoint。
-
问题详情:进行计算资源连通性测试时,出现
You have NO privilege 'odps:Read' on {acs:odps:*:projects/xxx}报错。解决方式:检查您的MaxCompute项目状态是否正常,如处于冻结停服状态,您可在MaxCompute控制台对您所需绑定的MaxCompute项目进行恢复。
-
问题详情:DataWorks 是否支持跨账号绑定 MaxCompute 计算资源,或通过 SQL 查询跨账号数据?
解决方式:不支持。DataWorks 绑定 MaxCompute 计算资源时,仅支持绑定与当前 DataWorks 工作空间属于同一阿里云主账号下的 MaxCompute 项目;在数据开发中执行 SQL 查询时,所使用的计算引擎也必须是同账号下的项目,不支持直接跨账号通过 SQL 查询 MaxCompute 数据。若需访问跨账号数据,请通过数据集成等方式实现。
-
问题详情:已绑定 MaxCompute 计算资源,但发布任务或创建资源时仍提示“未绑定计算资源”、“找不到 ODPS 信息”,或选项呈灰色,如何处理?
解决方式:该问题通常由以下原因导致,请按顺序排查:
-
系统延迟:绑定完成后平台需进行访问身份授权,可能存在短暂延迟,建议等待几分钟后刷新页面重试。
-
权限不足:确认当前登录账号对目标 MaxCompute 项目拥有 Super_Administrator 权限,权限缺失可能导致绑定状态异常或显示为已解绑。
-
绑定配置错误:检查绑定的 MaxCompute 项目名称及地域是否正确,确保与 DataWorks 工作空间同地域、同账号。
-
未手动绑定:仅在 MaxCompute 侧开通引擎不等于完成绑定,需在 DataWorks 管理中心的计算资源中手动执行绑定操作。
-
连通性问题:测试连通性开发环境 MaxCompute 数据源是否正常,若不通请检查网络及 Endpoint 配置。
-
-
问题详情:绑定 MaxCompute 计算资源时提示“项目已存在”,如何处理?
解决方式:一个 MaxCompute 项目作为计算资源只能绑定至一个 DataWorks 工作空间。该报错表示 DataWorks 中已存在此 MaxCompute 项目与 Endpoint 组合的绑定记录,处理方式:
-
检查各个工作空间的计算资源列表,确认是否已存在该计算资源,若已存在则无需重复绑定,直接在数据开发任务中选择该引擎即可。
-
若需更新配置,请先删除旧的绑定记录(或清除浏览器缓存后重试),再重新执行绑定操作。
-