您可以在计算引擎信息界面将MaxCompute计算引擎绑定至DataWorks作为DataWorks工作空间的计算引擎实例,以便您通过DataWorks来执行该引擎类型的计算任务。本文为您介绍如何绑定MaxCompute引擎。

前提条件

背景信息

(必读)请您在操作引擎绑定前务必了解以下内容,这将决定您后续是否可以顺利开展数据开发工作。

功能介绍

您可通过以下方式为DataWorks工作空间绑定MaxCompute引擎项目。
  • 如果您需要为工作空间绑定新的MaxCompute项目,您可以选择为当前工作空间创建MaxCompute项目。
  • 简单模式工作空间支持为DataWorks工作空间绑定已有MaxCompute引擎。
  • 为当前工作空间已绑定的MaxCompute项目构建湖仓一体项目,详情请参见MaxCompute湖仓一体

注意事项

  • 账号权限说明。
    使用不同类型账号创建DataWorks工作空间并绑定MaxCompute引擎后,其拥有的权限说明如下表。
    账号类型权限说明
    阿里云账号(即主账号)该账号具备MaxCompute项目内所有内容的操作权限。其余用户未经授权无法访问此项目。
    RAM用户(即子账号)
    • RAM用户和其归属的阿里云账号均具备MaxCompute项目内所有内容的操作权限。其余用户未经授权无法访问此项目。
    • 为方便管理,MaxCompute会默认赋予RAM用户该项目的Super_Administrator角色权限。
      说明 若DataWorks工作空间为标准模式,则仅赋予RAM用户DataWorks开发环境对应MaxCompute项目的Super_Administrator角色权限。工作空间模式,详情请参见工作空间模式介绍
  • 引擎访问身份配置对MaxCompute生产数据的影响:
    说明 简单模式工作空间无法做到细粒度权限控制,以下内容为标准模式工作空间下的说明。
    影响说明相关文档
    对生产数据资源归属影响当前工作空间下的生产数据均归属于您在绑定引擎时所指定的生产环境访问身份,默认为阿里云主账号,且默认RAM用户无法直接操作生产数据。
    对生产数据访问控制影响除了RAM用户被指定为调度引擎访问身份(生产项目MaxCompute访问身份)这一场景外,其他场景下,RAM用户被添加为工作空间成员后,默认没有生产环境操作权限,操作及访问生产表需要在安全中心进行权限申请。

使用限制

  • 仅拥有管理员权限的用户可为DataWorks工作空间绑定MaxCompute引擎。详情请参见添加及管理工作空间成员
  • 仅同时具有DataWorks空间管理员角色和MaxComputeProject OwnerSuper_Administrator角色的人员可以绑定已在MaxCompute控制台创建的项目。关于MaxCompute角色说明详情请参见MaxCompute角色规划与管理

进入引擎绑定页面

您可以通过以下两种方式进入引擎绑定页面:
  • 方式一:在管理控制台,您可以单击工作空间后操作列的更多图标,单击工作空间配置,进入目标空间的工作空间页面,再单击计算引擎信息,进入引擎绑定页面。
  • 方式二:工作空间创建完成后,您可以进入数据开发、数据集成等模块,在顶部菜单栏右侧单击小扳手图标,进入工作空间页面,再单击计算资源信息,进入引擎绑定页面。

绑定MaxCompute引擎

  1. 计算引擎信息区域单击MaxCompute
  2. MaxCompute页签下,单击增加实例
  3. 配置引擎信息。
    DataWorks为您提供新增MaxCompute项目绑定已有MaxCompute项目绑定外部项目三种绑定MaxCompute引擎的模式。绑定引擎

创建MaxCompute项目

当新增方式为创建MaxCompute项目时,您可以为当前工作空间单独创建MaxCompute项目。

参数描述
资源显示名称用于定义当前引擎配置在DataWorks作为一个执行计算引擎实例的显示名称,用于在DataWorks上标识该套引擎配置(类似于该引擎在DataWorks的别名)。

您可以自定义该显示名称。 名称必须唯一。

项目来源默认为创建项目。
付费模式定义MaxCompute项目按照哪种付费方式进行计费,包括按量付费包年包月。 关于MaxCompute计费模式详情请参见计费项与计费方式概述
说明 标准模式下不支持添加开发者版本的实例。
Quota组定义MaxCompute项目使用的计算资源池。关于Quota相关说明详情请参见配额
数据类型定义MaxCompute项目使用哪一类数据类型。包括2.0数据类型(推荐)1.0数据类型(面向已有使用1.0数据类型用户)Hive兼容类型(面向Hive迁移用户),详情请参见:数据类型版本说明
是否加密根据实际情况选择当前MaxCompute项目是否需要通过密钥管理服务KMS(Key Management Service)对数据进行存储加密,详情请参见数据加密
生产环境指定DataWorks生产环境调度运行时默认操作哪一个MaxCompute项目,并且统一使用什么账号操作生产环境对应的MaxCompute项目。
  • MaxCompute项目名称:定义当前DataWorks工作空间使用的MaxCompute生产环境的项目名称。
  • 访问身份:生产环境支持您通过阿里云主账号阿里云子账号阿里云RAM角色角色访问MaxCompute。即在生产环境自动调度时,统一使用此处指定的账号在生产环境对应的MaxCompute项目下执行任务。
说明 简单模式工作空间下,只有生产环境,所以数据开发默认操作生产环境引擎。详情请参见不同模式工作空间对生产任务开发与运维的影响
开发环境指定DataWorks开发环境测试运行时默认操作哪一个MaxCompute项目,并且使用什么账号操作开发环境对应的MaxCompute项目。
  • MaxCompute项目名称:当前DataWorks工作空间使用的MaxCompute开发环境的项目名称。 该名称将根据生产项目名称自动生成,默认在生产项目名称基础上增加_dev
  • 访问身份:默认是任务执行者,不可以修改。标准模式工作空间下,在数据开发模块执行任务时默认使用当前任务执行者的身份访问开发项目下的表、函数等。在开发运维中心执行时,默认使用任务责任人账号。
说明 简单模式工作空间没有开发环境。

绑定已有MaxCompute项目

简单模式工作空间下,如果您已经在MaxCompute管控台创建过MaxCompute项目,您可以选择新增方式绑定已有MaxCompute项目时,并在项目选择的下拉列表中选择已有MaxCompute项目。
说明
  • 请同时具有DataWorks空间管理员角色和MaxComputeProject Owner或Super_Administrator角色的人员进行操作。
  • 各参数配置与新建MaxCompute项目一致。

绑定外部项目

当选择绑定外部项目时,您可以为当前工作空间已绑定的MaxCompute项目构建湖仓一体项目。

DataWorks支持您绑定Hadoop HDFSOSS+Data Lake Formation(DLF),参数配置详情请参见MaxCompute湖仓一体

外部项目

解绑MaxCompute引擎

若您当前工作空间不需要再使用改计算引擎,您可以单击右上角的解绑按钮,将工作空间与该MaxCompute引擎实例进行解绑,解绑后,当前工作空间基于该引擎运行的任务都将失败。
解绑后DataWorks各模块将产生如下影响:
  • 调度任务:基于该引擎运行的任务(实例)即将失败,建议您通过DataStudio中的任务列表单击转移到可用的引擎实例,将解绑引擎上的任务批量迁移至其他可用引擎,并执行提交、发布,以恢复任务运行。
  • 数据集成:涉及该引擎的同步任务将运行失败,建议您及时到DataStudio更换相关任务的数据源。
  • 数据服务:涉及该引擎的数据服务API将调用失败,建议您及时更换数据服务相关数据源。
  • 数据分析:涉及该引擎的查询将不可用,建议您及时更换相关数据源。
  • 数据地图、资源优化、综合治理、安全中心将不再展示该引擎的相关信息。
说明 只有空间管理员才可以执行解绑操作。

管理MaxCompute项目

您可前往DataWorks管理控制台 > 计算引擎列表页面,进入MaxCompute控制台查看与管理MaxCompute项目,例如,查看MaxCompute作业信息、资源消耗(包含存储和CU资源)、管理配额组等。关于MaxCompute管家使用详情请参见MaxCompute管家

后续步骤

绑定MaxCompute引擎后,您在了解相关背景信息后,便可基于该引擎进行数据开发。
  1. DataWorks通过空间级预设角色与MaxCompute引擎Role的映射关系,让被授予空间角色的RAM用户拥有该角色映射的开发引擎权限,但默认无生产权限。
  2. MaxCompute本身支持跨项目查询表,所以在数据开发界面可通过指定项目名的方式跨项目查询DataWorks工作空间的生产数据。
  3. 了解上述说明后,您便可前往数据开发界面进行数据开发相关工作。详情请参见入门教程:数据开发入门操作指南:数据开发