绑定MaxCompute计算资源

若您要使用DataWorks进行MaxCompute任务的开发、管理,需先将您的MaxCompute项目绑定为DataWorksMaxCompute计算资源。绑定完成后,可在DataWorks的各功能模块使用该计算资源连接MaxCompute项目,进行相应的数据同步、数据开发、数据分析等操作。

使用限制

  • MaxCompute项目和DataWorks工作空间属于同地域、同阿里云账号时,MaxCompute才可创建为计算资源。

  • 权限限制

    产品

    操作人

    具备权限说明

    DataWorks

    阿里云主账号

    无需额外授权。

    阿里云RAM账号/RAM角色

    仅拥有运维空间管理员角色的空间成员,或拥有AliyunDataWorksFullAccess权限的空间成员可创建计算资源,您为空间成员授权即可。

    MaxCompute

    阿里云RAM账号/RAM角色

    绑定计算资源时:需拥有MaxComputeodps:ListProjects权限,以及目标MaxCompute项目的Super_Administrator权限。

    当作为默认访问身份时:需拥有MaxCompute项目的adminsuper_administrator权限,当计算资源绑定完成后,该账号或角色将会被MaxCompute生产项目添加为Role_Project_Scheduler角色。

    当前工作空间下的生产数据,均归属于创建计算资源时所指定的生产环境默认访问身份。其他账号如需操作及访问生产表,需在安全中心申请相关权限。

前提条件

  • 已开通与DataWorks地域一致的MaxCompute产品,并创建MaxCompute项目。

  • DataWorks创建工作空间,操作者使用的RAM账号已加入工作空间并设置为工作空间管理员角色。

    说明

    DataWorks的工作空间分为简单模式工作空间和标准模式工作空间,在创建空间时需注意简单模式和标准模式的区别

  • 已为工作空间绑定资源组,且确保网络连通。

新版数据开发:绑定MaxCompute计算资源

参加数据开发(Data Studio)(新版)公测的工作空间绑定MaxCompute计算资源。

进入计算资源列表页

  1. 登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的更多 > 管理中心,在下拉框中选择对应工作空间后单击进入管理中心

  2. 在左侧导航栏单击计算资源,进入计算资源列表页。

绑定MaxCompute计算资源

计算资源列表页,配置绑定MaxCompute计算资源。

  1. 选择绑定计算资源类型。

    1. 单击绑定计算资源新建计算资源,进入绑定计算资源页面。

    2. 绑定计算资源页面选择计算资源类型为MaxCompute,进入绑定MaxCompute计算资源配置页面。

  2. 配置MaxCompute计算资源。

    绑定MaxCompute计算资源配置页面,根据下表内容进行相应配置。

    参数

    说明

    MaxCompute项目

    选择需要绑定的MaxCompute项目,您可以创建MaxCompute内部项目创建MaxCompute外部项目,创建完成后,选择创建的新项目即可。

    说明
    • 如果创建工作空间为标准工作空间,则此处需要分别为生产和开发环境选择MaxCompute项目,且需绑定不同的MaxCompute项目。

    • MaxCompute计费项与计费方式

    • 若无法选择目标MaxCompute项目,则请授予当前登录账号该项目的Super_Administrator权限。

    默认访问身份

    定义在当前工作空间下,用什么身份访问该MaxCompute项目。

    • 开发环境:当前仅支持使用执行者身份访问。

    • 生产环境:支持使用阿里云主账号阿里云RAM子账号阿里云RAM角色访问

    说明
    • 仅阿里云主账号及拥有AdministratorAccess角色权限的用户或角色可选择所有身份访问。

    • 当前工作空间下的生产数据,均归属于创建计算资源时所指定的生产环境默认访问身份。其他账号如需操作及访问生产表,需在安全中心申请相关权限。相关介绍及操作,请参见MaxCompute数据访问权限控制审批中心概述

    计算资源实例名

    用于标识该计算资源,在任务运行时,通过计算资源实例名称来选择任务运行的计算资源。

  3. 测试连通性。

    在连接配置区域,请选择DataWorks用于运行MaxCompute任务的资源组,并单击测试连通性以确保资源组可以正常访问您的MaxCompute项目。详情请参见网络连通方案

    说明

    如无可用的资源组,您可以新增和并绑定Serverless资源组到工作空间之后,再到工作空间的计算资源中测试与计算资源的连通性。

  4. 单击完成创建,完成MaxCompute计算资源配置。

    说明
    • 绑定完成后,系统将自动在当前工作空间的数据源中同步创建一个同名的MaxCompute数据源。

    • 计算资源绑定成功后平台会进行访问身份授权,即将访问身份账号添加至MaxCompute项目中,并为该身份映射MaxCompute对应的权限。在授权完成前,连通性测试可能会产生连通无权限报错,该场景下,保存计算资源后,您需稍作等待。

旧版数据开发:绑定MaxCompute计算资源

参加数据开发(Data Studio)(新版)公测的工作空间绑定MaxCompute计算资源。

进入计算资源列表页

  1. 进入数据开发页面。

    登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据开发与运维 > 数据开发,在下拉框中选择对应工作空间后单击进入数据开发

  2. 在左侧导航栏单击image图标,进入计算资源列表页。

绑定MaxCompute计算资源

在计算资源列表页,配置绑定MaxCompute计算资源。

  1. 选择绑定计算资源类型。

    1. 单击新建计算资源,进入新建计算资源页面。

    2. 新建计算资源页面选择计算资源类型为MaxCompute,进入新建计算资源配置页面。

  2. 配置MaxCompute计算资源。

    新建计算资源配置页面,根据下表内容进行相应配置。

    参数

    说明

    认证方式

    新建的计算资源仅支持通过阿里云账号及阿里云RAM角色进行认证。

    所属云账号

    只有添加当前阿里云主账号下的MaxCompute项目才可作为当前工作空间的计算资源。

    MaxCompute项目名称

    选择需要绑定的MaxCompute项目,若无目标项目,则需创建MaxCompute项目

    说明
    • 如果创建工作空间为标准工作空间,则此处需要分别为生产和开发环境选择MaxCompute项目,且需绑定不同的MaxCompute项目。

    • MaxCompute计费项与计费方式

    • 若无法选择目标MaxCompute项目,则请授予当前登录账号该项目的Super_Administrator权限。

    地域

    选择MaxCompute项目所在的地域,若选择的MaxCompute项目与当前工作空间不在同一地域,则无法将MaxCompute项目创建为计算资源。

    默认访问身份

    定义在当前工作空间下,用什么身份访问该计算资源。

    • 开发环境:当前仅支持使用执行者身份访问。

    • 生产环境:支持使用阿里云主账号、阿里云RAM用户(即子账号)、阿里云RAM角色访问。

      说明
      • 仅阿里云主账号及拥有AdministratorAccess角色权限的用户或角色可选择所有身份访问。

      • 当前工作空间下的生产数据,均归属于创建计算资源时所指定的生产环境默认访问身份。其他账号如需操作及访问生产表,需在安全中心申请相关权限。相关介绍及操作,请参见MaxCompute数据访问权限控制审批中心概述

    Endpoint

    指定DataWorks通过该计算资源访问MaxCompute项目的Endpoint地址。包括访问MaxCompute服务的Endpoint地址,以及上传、下载本地或云计算资源数据的Tunnel服务地址。支持以下两种配置:

    • 自动适配:DataWorks根据实际情况自动适配,建议选择该项。

      说明

      MaxCompute项目与DataWorks服务所在地域不一致,即存在跨地域访问场景,自动适配情况下,数据集成默认使用公网访问地址读取和下载数据,这时使用Serverless资源组的情况下,需要为绑定的VPC配置公网NAT网关EIP后,才支持公网访问。

    • 自定义配置:自定义情况下,您需手动配置MaxCompute EndpointTunnel Endpoint,不同地域,Endpoint不同。

  3. 测试连通性。

    在连接配置区域,请选择DataWorks用于运行MaxCompute任务的资源组,并单击测试连通性以确保资源组可以正常访问您的MaxCompute项目。详情请参见网络连通方案

    说明

    如无可用的资源组,您可以新增和并绑定Serverless资源组到工作空间之后,再到工作空间的计算资源中测试与计算资源的连通性。

  4. 单击新建计算资源并绑定数据开发,完成MaxCompute计算资源配置。

    说明
    • 绑定完成后,系统将自动在当前工作空间的数据源中同步创建一个同名的MaxCompute数据源。

    • 计算资源绑定成功后平台会进行访问身份授权,即将访问身份账号添加至MaxCompute项目中,并为该身份映射MaxCompute对应的权限。在授权完成前,连通性测试可能会产生连通无权限报错,该场景下,保存计算资源后,您需稍作等待。

后续操作

完成MaxCompute计算资源绑定后,将为工作空间自动创建MaxCompute数据源,您可在数据集成中使用该数据源,以及进行数据库节点(新版数据开发)数据库节点(旧版数据开发)中使用。

常见问题

  • 问题详情:MaxCompute计算资源在进行调度时出现connect timed out, the possible reason is that the endpoint `http://service.odps.aliyun.com/api` is wrong, please check your endpoint报错。

    解决方式:检查MaxCompute计算资源的Endpoint配置是否正确,填写与资源地域相同的地域的VPC Endpoint

  • 问题详情:进行计算资源连通性测试时,出现You have NO privilege 'odps:Read' on {acs:odps:*:projects/xxx}报错。

    解决方式:检查您的MaxCompute项目状态是否正常,如处于冻结停服状态,您可在MaxCompute控制台对您所需绑定的MaxCompute项目进行恢复