绑定MaxCompute计算资源

更新时间:
复制 MD 格式

若您要使用DataWorks进行MaxCompute任务的开发、管理,需先将您的MaxCompute项目绑定为DataWorksMaxCompute计算资源。绑定完成后,可在DataWorks的各功能模块使用该计算资源连接MaxCompute项目,进行相应的数据同步、数据开发、数据分析等操作。

使用限制

  • 地域限制:华东1(杭州)、华东2(上海)、华北2(北京)、华北3(张家口)、华北6(乌兰察布)、华南1(深圳)、西南1(成都)、中国香港、日本(东京)、新加坡、马来西亚(吉隆坡)、印度尼西亚(雅加达)、德国(法兰克福)、英国(伦敦)、美国(硅谷)、美国(弗吉尼亚)。

  • MaxCompute项目和DataWorks工作空间属于同地域、同阿里云账号时,MaxCompute才可创建为计算资源。

  • 权限限制

    产品

    操作人

    具备权限说明

    DataWorks

    阿里云主账号

    无需额外授权。

    阿里云RAM账号/RAM角色

    仅拥有运维空间管理员角色的空间成员,或拥有AliyunDataWorksFullAccess权限的空间成员可创建计算资源,您为空间成员授权即可。

    MaxCompute

    阿里云RAM账号/RAM角色

    绑定计算资源时:需拥有MaxComputeodps:ListProjects权限,以及目标MaxCompute项目的Super_Administrator权限。

    当作为默认访问身份时:需拥有MaxCompute项目的adminsuper_administrator权限,当计算资源绑定完成后,该账号或角色将会被MaxCompute生产项目添加为Role_Project_Scheduler角色。

    当前工作空间下的生产数据,均归属于创建计算资源时所指定的生产环境默认访问身份。其他账号如需操作及访问生产表,需在安全中心申请相关权限。

  • 查看已绑定资源所在地域:可在 DataWorks 工作空间详情页面,或管理中心计算资源列表中,查看已绑定计算资源的详细信息,包括 MaxCompute 项目所在地域,以排查跨地域绑定失败等问题。

前提条件

  • 已开通与DataWorks地域一致的MaxCompute产品,并创建MaxCompute项目。

  • DataWorks创建工作空间,操作者使用的RAM账号已加入工作空间并设置为工作空间管理员角色。

    说明

    DataWorks的工作空间分为简单模式工作空间和标准模式工作空间,在创建空间时需注意简单模式和标准模式的区别

  • 已为工作空间绑定资源组,且确保网络连通。

新版数据开发:绑定MaxCompute计算资源

使用新版数据开发(Data Studio)的工作空间绑定MaxCompute计算资源。

进入计算资源列表页

  1. 登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的更多 > 管理中心,在下拉框中选择对应工作空间后单击进入管理中心

  2. 在左侧导航栏单击计算资源,进入计算资源列表页。

绑定MaxCompute计算资源

计算资源列表页,配置绑定MaxCompute计算资源。

  1. 选择绑定计算资源类型。

    1. 单击绑定计算资源,进入绑定计算资源页面。

    2. 绑定计算资源页面选择计算资源类型为MaxCompute,进入绑定MaxCompute计算资源配置页面。

  2. 配置MaxCompute计算资源。

    绑定MaxCompute计算资源配置页面,根据下表内容进行相应配置。

    参数

    说明

    MaxCompute项目

    选择需要绑定的MaxCompute项目,您可以创建MaxCompute内部项目创建MaxCompute外部项目,创建完成后,选择创建的新项目即可。

    说明
    • 如果创建工作空间为标准工作空间,则此处需要分别为生产和开发环境选择MaxCompute项目,且需绑定不同的MaxCompute项目。

    • MaxCompute计费项与计费方式概述

    • 若无法选择目标MaxCompute项目,则请授予当前登录账号该项目的Super_Administrator权限。

    默认访问身份

    定义在当前工作空间下,用什么身份访问该MaxCompute项目。

    • 开发环境:当前仅支持使用执行者身份访问。

    • 生产环境:支持使用阿里云主账号阿里云RAM子账号阿里云RAM角色访问

    说明
    • 仅阿里云主账号及拥有AdministratorAccess角色权限的用户或角色可选择所有身份访问。

    • 当前工作空间下的生产数据,均归属于创建计算资源时所指定的生产环境默认访问身份。其他账号如需操作及访问生产表,需在安全中心申请相关权限。相关介绍及操作,请参见MaxCompute数据访问权限控制审批中心概述

    Endpoint

    指定DataWorks通过该计算资源访问MaxCompute项目的Endpoint地址。包括访问MaxCompute服务的Endpoint地址,以及上传、下载本地或云计算资源数据的Tunnel服务地址。支持以下两种配置:

    • 自动适配:DataWorks根据实际情况自动适配,建议选择该项。

    • 自定义配置:自定义情况下,您需手动配置MaxCompute EndpointTunnel Endpoint,不同地域,Endpoint不同。

    计算资源实例名

    用于标识该计算资源,在任务运行时,通过计算资源实例名称来选择任务运行的计算资源。

  3. 测试连通性。

    在连接配置区域,请选择DataWorks用于运行MaxCompute任务的资源组,并单击测试连通性以确保资源组可以正常访问您的MaxCompute项目。详情请参见网络连通方案概述

    说明

    如无可用的资源组,您可以新增和并绑定Serverless资源组到工作空间之后,再到工作空间的计算资源中测试与计算资源的连通性。

  4. 单击确认,完成MaxCompute计算资源配置。

    说明
    • 绑定完成后,系统将自动在当前工作空间的数据源中同步创建一个同名的MaxCompute数据源。

    • 计算资源绑定成功后平台会进行访问身份授权,即将访问身份账号添加至MaxCompute项目中,并为该身份映射MaxCompute对应的权限。在授权完成前,连通性测试可能会产生连通无权限报错,该场景下,保存计算资源后,您需稍作等待。

修改已绑定的 MaxCompute 计算资源

如需修改计算资源、更换 MaxCompute 项目或变更绑定,可在管理中心计算资源列表页,找到目标 MaxCompute 计算资源,单击编辑按钮进入修改页面。您可在该页面修改已绑定的 MaxCompute 项目、默认访问身份、Endpoint 等配置。

旧版数据开发:绑定MaxCompute计算资源

使用新版数据开发(Data Studio)的工作空间绑定MaxCompute计算资源。

进入计算资源列表页

  1. 进入数据开发页面。

    登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据开发与运维 > 数据开发,在下拉框中选择对应工作空间后单击进入数据开发

  2. 在左侧导航栏单击image图标,进入计算资源列表页。

绑定MaxCompute计算资源

在计算资源列表页,配置绑定MaxCompute计算资源。

  1. 选择绑定计算资源类型。

    1. 单击新建计算资源,进入新建计算资源页面。

    2. 新建计算资源页面选择计算资源类型为MaxCompute,进入新建计算资源配置页面。

  2. 配置MaxCompute计算资源。

    新建计算资源配置页面,根据下表内容进行相应配置。

    参数

    说明

    认证方式

    新建的计算资源仅支持通过阿里云账号及阿里云RAM角色进行认证。

    所属云账号

    只有添加当前阿里云主账号下的MaxCompute项目才可作为当前工作空间的计算资源。

    MaxCompute项目名称

    选择需要绑定的MaxCompute项目,若无目标项目,则需创建MaxCompute项目

    说明
    • 如果创建工作空间为标准工作空间,则此处需要分别为生产和开发环境选择MaxCompute项目,且需绑定不同的MaxCompute项目。

    • MaxCompute计费项与计费方式概述

    • 若无法选择目标MaxCompute项目,则请授予当前登录账号该项目的Super_Administrator权限。

    地域

    选择MaxCompute项目所在的地域,若选择的MaxCompute项目与当前工作空间不在同一地域,则无法将MaxCompute项目创建为计算资源。

    默认访问身份

    定义在当前工作空间下,用什么身份访问该计算资源。

    • 开发环境:当前仅支持使用执行者身份访问。

    • 生产环境:支持使用阿里云主账号、阿里云RAM用户(即子账号)、阿里云RAM角色访问。

      说明
      • 仅阿里云主账号及拥有AdministratorAccess角色权限的用户或角色可选择所有身份访问。

      • 当前工作空间下的生产数据,均归属于创建计算资源时所指定的生产环境默认访问身份。其他账号如需操作及访问生产表,需在安全中心申请相关权限。相关介绍及操作,请参见MaxCompute数据访问权限控制审批中心概述

    Endpoint

    指定DataWorks通过该计算资源访问MaxCompute项目的Endpoint地址。包括访问MaxCompute服务的Endpoint地址,以及上传、下载本地或云计算资源数据的Tunnel服务地址。支持以下两种配置:

    • 自动适配:DataWorks根据实际情况自动适配,建议选择该项。

    • 自定义配置:自定义情况下,您需手动配置MaxCompute EndpointTunnel Endpoint,不同地域,Endpoint不同。

  3. 测试连通性。

    在连接配置区域,请选择DataWorks用于运行MaxCompute任务的资源组,并单击测试连通性以确保资源组可以正常访问您的MaxCompute项目。详情请参见网络连通方案概述

    说明

    如无可用的资源组,您可以新增和并绑定Serverless资源组到工作空间之后,再到工作空间的计算资源中测试与计算资源的连通性。

  4. 单击新建计算资源并绑定数据开发,完成MaxCompute计算资源配置。

    说明
    • 绑定完成后,系统将自动在当前工作空间的数据源中同步创建一个同名的MaxCompute数据源。

    • 计算资源绑定成功后平台会进行访问身份授权,即将访问身份账号添加至MaxCompute项目中,并为该身份映射MaxCompute对应的权限。在授权完成前,连通性测试可能会产生连通无权限报错,该场景下,保存计算资源后,您需稍作等待。

修改已绑定的 MaxCompute 计算资源

如需修改计算资源、更换 MaxCompute 项目或变更绑定,可在数据开发的计算资源列表页,找到目标 MaxCompute 计算资源,单击编辑按钮进入修改页面。您可在该页面修改已绑定的 MaxCompute 项目、默认访问身份、Endpoint 等配置。

后续操作

完成MaxCompute计算资源绑定后,将为工作空间自动创建MaxCompute数据源,您可在数据集成中使用该数据源,以及进行数据库节点(新版数据开发)数据库节点(旧版数据开发)中使用。

常见问题

  • 问题详情:MaxCompute计算资源在进行调度时出现connect timed out, the possible reason is that the endpoint `http://service.odps.aliyun.com/api` is wrong, please check your endpoint报错。

    解决方式:检查MaxCompute计算资源的Endpoint配置是否正确,填写与资源地域相同的地域的VPC Endpoint

  • 问题详情:进行计算资源连通性测试时,出现You have NO privilege 'odps:Read' on {acs:odps:*:projects/xxx}报错。

    解决方式:检查您的MaxCompute项目状态是否正常,如处于冻结停服状态,您可在MaxCompute控制台对您所需绑定的MaxCompute项目进行恢复

  • 问题详情:DataWorks 是否支持跨账号绑定 MaxCompute 计算资源,或通过 SQL 查询跨账号数据?

    解决方式:不支持。DataWorks 绑定 MaxCompute 计算资源时,仅支持绑定与当前 DataWorks 工作空间属于同一阿里云主账号下的 MaxCompute 项目;在数据开发中执行 SQL 查询时,所使用的计算引擎也必须是同账号下的项目,不支持直接跨账号通过 SQL 查询 MaxCompute 数据。若需访问跨账号数据,请通过数据集成等方式实现。

  • 问题详情:已绑定 MaxCompute 计算资源,但发布任务或创建资源时仍提示“未绑定计算资源”、“找不到 ODPS 信息”,或选项呈灰色,如何处理?

    解决方式:该问题通常由以下原因导致,请按顺序排查:

    1. 系统延迟:绑定完成后平台需进行访问身份授权,可能存在短暂延迟,建议等待几分钟后刷新页面重试。

    2. 权限不足:确认当前登录账号对目标 MaxCompute 项目拥有 Super_Administrator 权限,权限缺失可能导致绑定状态异常或显示为已解绑。

    3. 绑定配置错误:检查绑定的 MaxCompute 项目名称及地域是否正确,确保与 DataWorks 工作空间同地域、同账号。

    4. 未手动绑定:仅在 MaxCompute 侧开通引擎不等于完成绑定,需在 DataWorks 管理中心计算资源中手动执行绑定操作。

    5. 连通性问题测试连通性开发环境 MaxCompute 数据源是否正常,若不通请检查网络及 Endpoint 配置。

  • 问题详情:绑定 MaxCompute 计算资源时提示“项目已存在”,如何处理?

    解决方式:一个 MaxCompute 项目作为计算资源只能绑定至一个 DataWorks 工作空间。该报错表示 DataWorks 中已存在此 MaxCompute 项目与 Endpoint 组合的绑定记录,处理方式:

    1. 检查各个工作空间的计算资源列表,确认是否已存在该计算资源,若已存在则无需重复绑定,直接在数据开发任务中选择该引擎即可。

    2. 若需更新配置,请先删除旧的绑定记录(或清除浏览器缓存后重试),再重新执行绑定操作。