项目管理

项目(Project)是MaxCompute的基本组织单元,是进行多用户隔离和访问控制的主要边界。当您需要为团队成员授权、配置项目安全策略或调整计算与存储属性时,MaxCompute控制台提供了一站式的项目管理界面。通过该界面,您可以直观、高效地完成各项管理操作。

权限说明

操作类型

权限说明

创建项目

需拥有AliyunMaxComputeFullAccess或者对应RAM权限odps:CreateProject)。

项目创建者默认成为Super_Administrator ,拥有完全项目控制权。

配置项目

需拥有AliyunMaxComputeFullAccess或者对应RAM权限

数据操作

项目中数据操作需授权项目内对象权限

若通过MaxCompute控制台OpenAPI进行数据操作时仍需检验RAM权限

说明

阿里云主账号默认拥有创建项目、配置项目权限,数据操作权限仍然需进行授权。

注意事项

  • 永久删除:删除项目是高危操作,将导致项目内所有数据和资源被永久销毁且不可逆。请务必在操作前完成数据备份。

  • 功能范围:当前控制台专注于项目级的管理与配置。Tables(表)、Resources(资源)、UDF(自定义函数)等具体数据资产的创建和开发工作,仍需通过MaxCompute客户端或DataWorks等开发工具完成。

  • 权限使用:项目内的Super_AdministratorAdmin角色拥有管理项目的全部或大部分权限,请谨慎授予。

进入项目管理

  1. 登录MaxCompute控制台,在左上角选择地域。

  2. 在左侧导航栏,选择工作区 > 项目管理

项目基本操作

创建&编辑项目

重要
  • 编辑基础信息需校验RAM权限;配置基础属性的参数,需要校验RAM权限或拥有对应项目的Super_Administrator角色权限。

  • 配置权限属性IP白名单的参数,需校验RAM权限,或者拥有对应项目的管理权限(Admin)角色包括Super_AdminstratorAdmin或自定义管理类权限

  1. 创建项目:在项目管理页面,单击新建项目,在新增项目对话框,根据界面提示配置参数

  2. 编辑项目:在项目管理页面,单击目标项目操作列的管理。在参数配置页签下,根据需要编辑各参数

    项目创建成功后即可在项目管理页面的项目列表查看新创建的MaxCompute项目。您可将鼠标悬浮于目标项目上,单击image图标添加关注后,即可在概览我关注的项目区域查看已关注项目。

删除项目

删除项目时支持立即删除,即彻底删除,永久不可恢复。删除时需要短信验证,默认验证码发送到阿里云账号绑定的手机(账号中心 > 账号安全里绑定设置的手机号)

重要

RAM角色删除项目不支持短信验证,因此为了避免误删除不建议RAM角色拥有删除项目权限。

删除项目影响如下:

  • 数据永久丢失:项目内所有表及数据将立即永久删除且不可恢复。

    项目立即删除后,清理数据需要一定的时间,项目数量越大需要清理的时间越长。因此,若立即创建同名项目时报错表示项目已存在,则需要稍后再重试。
  • 任务运行失败:所有向该MaxCompute项目提交的任务因项目不存在都将运行失败。

  • 工作空间异常:若已绑定DataWorks工作空间,请务必先解绑再删除。直接删除MaxCompute项目将导致关联DataWorks工作空间功能异常。

具体操作在项目管理列表页的目标项目操作列处。

冻结&恢复项目

MaxCompute项目支持变更状态的操作有如下两种:

  • 冻结:即停止服务,项目被冻结后作业无法运行,项目内数据也不能被查询,但是数据将继续保留,因此会产生存储费用。冻结后的项目状态停服

    若账号存在欠费情况,当续费成功后,所有已冻结的项目均会被解冻。
  • 恢复:将停服状态、预删除状态的项目恢复,恢复成功后项目状态将为正常

具体操作在项目管理列表页的目标项目操作列处。

标签管理

标签是阿里云统一的资源管理工具,可用于成本分摊、资源分组和自动化运维。在MaxCompute的项目管理界面,您可进行标签的查看和绑定。

单个项目创建标签

  1. 将鼠标悬浮于目标项目所在标签列的编辑图标上,单击浮窗的绑定/编辑

  2. 编辑标签对话框中,输入标签键标签值,单击确定,并在标签编辑成功对话框中单击关闭

    当您需解绑某个标签时,在编辑标签对话框中单击要解绑标签后方的删除图标即可。

批量创建多个项目的标签

  1. 选中要批量添加标签的项目,单击页面底部的批量打标

  2. 后续步骤同单个项目创建标签

    您可通过选中要批量解绑标签的项目,单击页面底部的批量删除标签进行批量标签解绑。

标签使用

项目绑定标签后,您可以在项目列表页的标签筛选下拉列表中根据标签的键和值筛选项目。

管理项目资产

您可通过项目管理查看MaxCompute项目的Package、Tables、Resources、UDF,以及设置Schema支持情况。

设置Schema

可在项目管理页面的项目列表,单击目标项目操作列的升级到支持Schema层级,使项目支持三层Schema结构。若不存在该按钮,说明该目标已经支持Schema结构。

更多关于Schema的解释说明,请参见Schema操作

Package实现资源复用

使用Package可实现MaxCompute跨项目访问资源。Package常用于只需分享Tables、Resources、Functions但不需要共享计算资源或不关注数据权限管理的场景。Package主要分为资源分享方资源访问方,通过Package进行跨项目授权访问的完整步骤流程如下。

命令行操作方式,请参见基于Package跨项目访问资源

资源分享方分享Package

  1. 项目管理页面的项目列表,单击目标项目操作列的管理

  2. 切换到Package页签,单击新建Package

  3. 新建Package对话框,填写package名称,选择要分享的TableResourceFunction并设置相应权限,单击确定完成新建Package。

  4. Package列表页,单击Package操作列的允许项目,在允许安装此package的项目对话框,输入可使用此Package的项目名称即可。

资源访问方安装Package

  1. 切换到Package页签,单击安装Package

  2. 安装Package对话框,输入要访问的Package名称,格式为projectName.package_name,单击确定即可访问Package。

  3. (可选)将Package授权给角色,再将角色授权给用户,详情请参见通过控制台管理用户权限

查看Tables、Resources、UDF

您可在项目配置页面查看该项目下的Tables(表)、Resources(资源)、UDF(自定义函数)。这些资产的创建、修改、删除等开发和管理操作,不在此“项目管理”界面进行。您需要使用专业的开发工具,如MaxCompute客户端(odpscmd)或阿里云DataWorks来完成表开发资源开发UDF开发

权限配置

角色权限与授权

角色权限页签,可对项目进行角色权限管理,并将角色授权给用户。支持创建管理类(Admin)角色和资源操作类(Resource)角色。具体操作,请参见通过控制台管理用户权限

查看项目成员

MaxCompute的项目数据权限管控要求将用户(User)加入项目中进行授权。您可在项目配置页面,单击项目成员页签,查看项目内所有成员的相关权限详情。

后续步骤

对项目进行开发工作,请准备MaxCompute项目开发环境并安装相应工具。更多准备环境及安装工具操作请参见选择连接工具

附录:项目配置参数详解

以下展示创建项目和配置项目过程中控制台支持的所有参数详细说明:

参数分类

参数名称

参数具体说明

创建时可配置

基础信息

项目名称

名称全局唯一,创建后不可修改。

image

计算资源付费类型

您可按需指定以下两种付费类型计算资源,并设置默认Quota。所有未明确指定Quota的计算任务都将使用默认Quota。

  • 包年包月Quota:适用于 长期稳定运行 的业务场景,能够提供固定的计算资源保障,避免资源抢占带来的不确定性。

  • 按量付费Quota:适用于 短期或测试阶段 的业务场景,能够根据实际使用情况进行灵活计费。

Quota类型选择,请参见计算资源-Quota管理。更多使用逻辑请参见计算资源-Quota使用

image

默认计算Quota

image

存储总量(GB)

查看项目当前存储大小,此存储量与计量口径一致,即按Project采集压缩后的逻辑存储大小。

生命周期配置

数据保存生命周期

设置项目空间下的表是否需配置生命周期,即为设置odps.table.lifecycle属性,有如下取值。

  • Optional:创建表时,Lifecycle子句为可选设置,如果不设置表的生命周期,则该表永久有效。

  • Mandatory:Lifecycle子句为必选设置,用户必须设置表的生命周期。

  • Inherit:创建表时,如果不设置表的生命周期,则该表的生命周期默认继承odps.table.lifecycle.value的值。odps.table.lifecycle.value属性设置表的生命周期,单位为:天。取值范围为1~37231,默认值为37231。

分层存储生命周期

定义分层存储生命周期规则,基于该规则触发分层存储类型自动转换。最近访问配置策略最近修改配置策略只需满足其中一个条件即可触发存储类型切换。

  • 对于非分区表:规则直接作用于整个表。当满足条件时,该表的存储类型会从标准自动转换为低频。

  • 对于分区表:规则作用于每个独立的分区,而非整个表。当某个分区满足条件时,仅该分区的存储类型会发生转换,其他分区不受影响。

详情请参见通过生命周期规则自动设置

超级管理员

成员

查看或编辑项目的super_administrator角色成员,此处设置效果与角色权限页签里对super_administrator角色的成员管理一致,只是此操作支持RAM权限校验,即RAM用户拥有UpdateUsersToSuperAdmin权限后即可在此设置项目的super_administrator角色成员,详情请参见RAM权限

基础属性

允许分区表全表扫描

设置项目空间是否允许全表扫描,即为设置odps.sql.allow.fullscan属性。全表扫描会占用大量资源,为提升处理效率,不建议开启该功能

备份数据保留天数

设置项目空间备份数据的保留天数,即为设置odps.timemachine.retention.days属性。在此期间,您可以将当前版本恢复至任意一个备份的数据版本。

取值范围为[0,30],默认值为1,0代表关闭备份功能。

数据类型版本

可选择项目的数据类型版本,包含1.0数据类型2.0数据类型Hive兼容类型

  • 1.0数据类型:适用于早期使用的MaxCompute项目,且该项目依赖的产品组件不支持2.0数据类型版本。详情请参见1.0数据类型版本

  • 2.0数据类型:适用于在202004月之前无存量数据的MaxCompute项目,且该项目依赖的产品组件支持2.0数据类型版本。详情请参见2.0数据类型版本

  • Hive兼容类型:适用于从Hadoop迁移的MaxCompute项目,且该项目依赖的产品组件支持2.0数据类型版本。详情请参见Hive兼容数据类型版本

image

开启Decimal2.0

可选择项目是否开启MaxCompute 2.0Decimal数据类型,即为设置odps.sql.decimal.odps2属性。

存储类型

数据存储类型为项目级设置,可选择AZ存储AZ存储。存储规格和计费说明请参见存储费用

重要

建议与企业生产业务相关的数据选择AZ存储,能够抵御AZ级故障。AZ级故障时保障数据读取和写入服务不中断,保障数据的完整性与安全性,详情请参见同城容灾

image

存储加密

指定创建的MaxCompute项目是否需要开启存储加密

当选择需要加密时,需要选择密钥和对应算法:

  • 密钥:项目空间使用的密钥类型,包含默认密钥(MaxCompute Default Key)和自带密钥(BYOK)。默认密钥(MaxCompute Default Key)是MaxCompute内部创建的默认密钥。

  • 算法:密钥支持的加密算法,包含AES256AESCTRRC4

image

数据传输服务默认Quota

当您未特殊指定读写该项目数据时需要使用的资源组Quota时,当前项目默认使用的数据传输资源组。通常为Default,代表公共数据传输服务资源组,暂不支持通过控制台修改。

数据传输服务授权Quota

表示您的项目已经授权所有用户和角色使用配置的独享资源组进行数据读写任务,因此即使您未配置授权,也可SDK中指定所配置的独享资源组Quota进行项目的数据读写任务。一个项目仅支持配置一个独享资源组。

数据传输服务叠加Quota

数据传输服务独享资源组升级特性,支持您将独享资源组和Default资源组叠加使用。当您在此配置购买的独享资源组后,您当前项目允许使用的最大并发数可以被提升为公共数据传输服务资源组和独享资源组的资源总和。

  • 一个项目仅支持配置一个独享资源组,但允许多个项目配置同一个独享资源组。

  • 叠加使用时,Quota组需要指定Default;如您需要使用开放存储storage api接口时,仍需要指定独享资源组,QuotaName格式为:ot_42854300324****_169821756****_p#ot_42854300324****_169821756****。

说明

该升级特性仅部分地域支持,以控制台展示为准。您只能在控制台看到以下一种组合情况:

  • 数据传输服务默认Quota和数据传输服务授权Quota。

  • 数据传输服务叠加Quota。

SQL消费限制

设置单SQL消费的最高阈值,即为设置odps.sql.metering.value.max属性。单位:扫描量(GB)*复杂度。

非必填项,当选择按量付费计费类型时建议设置,可以避免非预期的单SQL消费过高。同时也建议配置实时消费监控告警,多方位监控限制消费超出预期,详情请参见消费监控告警

项目时区

选择项目空间的时区,即为设置odps.sql.timezone属性。这将影响所有时间相关函数(如NOW(), GETDATE())的计算结果,确保跨地域团队或应用在处理时间数据时获得一致和预期的结果。

权限属性

使用ACL授权

设置是否使用ACL权限控制功能,即为设置CheckPermissionUsingACL属性,默认为true即使用状态。

使用Policy授权

设置是否使用Policy权限控制功能,即为设置CheckPermissionUsingPolicy属性,默认为true即使用状态。

允许对象创建者操作对象

设置是否允许对象创建者拥有对象的访问权限,即为设置ObjectCreatorHasAccessPermission属性。默认为允许状态。

允许对象创建者授权对象

设置是否允许对象创建者拥有对象的授权权限,即为设置ObjectCreatorHasGrantPermission属性。默认为允许状态。

启动Label访问控制

设置是否使用Label权限控制功能,即设置LabelSecurity属性,默认为不使用状态。

项目空间数据保护

设置是否开启项目的数据保护机制,即设置ProjectProtection属性,禁止或允许数据流出项目。

如选择开启项目空间数据保护,还允许设置例外或受信任项目,详情请参见数据保护机制

开启Download权限

设置是否开启Download权限控制功能,即设置odps.security.enabledownloadprivilege属性。

开启项目级别租户资源访问控制

可查看项目绑定的租户资源。详情请参见项目级别租户资源访问控制

说明

目前此功能仅提供预览,暂不支持开启检查。

IP白名单

公网和云产品互联网络IP

设置公网和云产品互联网络下的IP白名单,仅允许白名单内的设备访问项目。

重要

如果只配置公网和云产品互联网络IP白名单,则公网和云产品互联网络访问受配置限制,VPC网络访问全部禁止。

VPC网络IP

设置VPC网络下的IP白名单,仅允许白名单内的设备访问项目。

重要

如果只配置VPC网络IP白名单,则VPC网络访问受配置限制,公网和云产品互联网络访问全部禁止。

MaxCompute外部网络

可用的MaxCompute外部网络地址

可添加或删除需要访问的目标公网IP或域名、端口。详情请参见访问公网方案

智能优化开关

自动物化视图(AutoMV)

开启后,根据用户作业查询习惯和性能自动创建物化视图,以提高计算效率,减少重复计算。

image

AutoMV可用存储上限(GB)

设置AutoMV可使用的存储资源上限,一旦超出该上限,AutoMV将禁止继续向已创建的物化视图中写入数据。详情请参见管理AutoMV开关并设置存储资源上限

image