项目管理

项目(Project)是MaxCompute的基本组织单元,是进行多用户隔离和访问控制的主要边界。当需要为团队成员授权、配置项目安全策略或调整计算与存储属性时,MaxCompute控制台提供了一站式的项目管理界面。通过该界面,可以直观、高效地完成各项管理操作。

权限说明

操作类型

权限说明

创建项目

需拥有AliyunMaxComputeFullAccess或者对应RAM权限odps:CreateProject)。

项目创建者默认成为Super_Administrator ,拥有完全项目控制权。

配置项目

  • 编辑基础信息需校验RAM权限

  • 配置基础属性的参数,需要校验RAM权限或拥有对应项目的Super_Administrator角色权限。

数据操作

项目中数据操作需授权项目内对象权限

若通过MaxCompute控制台OpenAPI进行数据操作时仍需检验RAM权限

配置权限属性

需校验RAM权限,或者拥有对应项目的管理权限(Admin)角色包括Super_AdminstratorAdmin或自定义管理类权限

配置IP白名单参数

需校验RAM权限,或者拥有对应项目的管理权限(Admin)角色包括Super_AdminstratorAdmin或自定义管理类权限

说明

阿里云主账号默认拥有创建项目、配置项目权限,数据操作权限仍然需进行授权。

注意事项

  • 永久删除:删除项目是高危操作,将导致项目内所有数据和资源被永久销毁且不可逆。请务必在操作前完成数据备份。

  • 功能范围:当前控制台专注于项目级的管理与配置。Tables(表)、Resources(资源)、UDF(自定义函数)等具体数据资产的创建和开发工作,仍需通过MaxCompute客户端或DataWorks等开发工具完成。

  • 权限使用:项目内的Super_AdministratorAdmin角色拥有管理项目的全部或大部分权限,请谨慎授予。

进入项目管理

  1. 登录MaxCompute控制台,在左上角选择地域。

  2. 在左侧导航栏,选择管理配置 > 项目管理

项目基本操作

创建项目

项目管理页面,单击新建项目,在弹出的新增项目对话框,根据界面提示文案配置项目信息,单击确认

单击链接跳转至文末项目配置参数详解

编辑项目

  1. 项目管理页面,单击目标项目操作列的管理

  2. 项目配置页面,选择参数配置页签。

  3. 编辑项目各项参数。

    单击链接跳转至文末项目配置参数详解

关注项目

  1. 项目管理页面,将鼠标悬浮于目标项目名称上,并单击image图标,可以为该项目添加关注

  2. 概览页我关注的区域,可以查看关注项目

删除项目

  1. 项目管理页面,单击目标项目操作列的删除

  2. 删除项目对话框中,勾选你确认要继续执行删除MaxCompute项目的操作吗?单击确定,即可删除MaxCompute项目。

  3. 目前MaxCompute项目的删除类型仅支持立即删除,永久不可恢复

重要

删除项目影响如下:

  • 数据永久丢失:项目内所有表及数据将立即永久删除且不可恢复。项目立即删除后,清理数据需要一定的时间,项目数量越大需要清理的时间越长。因此,若立即创建同名项目时报错表示项目已存在,则需要稍后再重试。

  • 任务运行失败:所有向该MaxCompute项目提交的任务因项目不存在都将运行失败。

  • 工作空间异常:若已绑定DataWorks工作空间,请务必先解绑再删除。直接删除MaxCompute项目将导致关联DataWorks工作空间功能异常。

冻结&恢复项目

MaxCompute项目支持变更状态的操作有如下两种:

  • 冻结:即停止服务,项目被冻结后作业无法运行,项目内数据也不能被查询,但是数据将继续保留,因此会产生存储费用。

    冻结后的项目状态停服。若账号存在欠费情况,当续费成功后,所有已冻结的项目均会被解冻。

    项目管理页面,单击目标项目操作列的冻结

  • 恢复:将停服状态、预删除状态的项目恢复,恢复成功后项目状态将为正常

    项目管理页面,单击目标项目操作列的恢复

标签管理

标签是阿里云统一的资源管理工具,可用于成本分摊、资源分组和自动化运维。在MaxCompute的项目管理界面,可进行标签的查看和绑定。

单个项目创建标签

  1. 将鼠标悬浮于目标项目所在标签列的编辑图标上,单击绑定/编辑

  2. 若未创建过标签会显示绑定,否则显示编辑

  3. 编辑标签对话框中,输入标签键标签值

  4. 单击确定,在标签编辑成功对话框中单击关闭

批量创建多个项目的标签

  1. 选中要批量添加标签的项目,单击页面底部的批量打标

  2. 编辑标签对话框中,输入标签键标签值

  3. 单击确定,在标签编辑成功对话框中单击关闭

单个项目标签解绑

  1. 将鼠标悬浮于目标项目所在标签列的编辑图标上,单击编辑

  2. 编辑标签对话框中,单击要解绑标签后的删除图标。

  3. 单击确定,在标签编辑成功对话框中单击关闭

多个项目标签批量解绑

  1. 选中要批量解绑标签的目标项目,单击页面底部的批量删除标签

  2. 批量解绑标签对话框中,勾选需要解绑的标签。

  3. 单击解绑x个标签(x为具体的解绑标签数),在标签编辑成功对话框中单击关闭

标签使用

项目管理页面,单击标签筛选,可以根据标签的键和值筛选项目。

管理项目资产

可通过项目管理查看MaxCompute项目的Package、Tables、Resources、UDF,以及设置Schema支持情况。

设置Schema

项目管理页面,单击目标项目操作列的升级到支持Schema层级

若不存在该按钮,说明该目标已经支持Schema结构。

Package实现资源复用

使用Package可实现MaxCompute跨项目访问资源。

Package常用于只需分享Tables、Resources、Functions但不需要共享计算资源或不关注数据权限管理的场景。

Package主要分为资源分享方资源访问方,通过Package进行跨项目授权访问的完整步骤流程如下。

资源分享方分享Package

  1. 项目管理页面,单击目标项目操作列的管理

  2. 项目配置页面,选择Package页签。

  3. 项目配置页面,选择Package页签。

  4. 新建Package对话框,填写Package名称,选择要分享的TableResourceFunction并设置相应权限,单击确定完成新建Package。

  5. Package页签下,单击目标Package对应的操作列的允许项目,在允许安装此Package的项目对话框中,输入可使用此Package的项目名称。

资源访问方安装Package

  1. 项目配置页面,选择Package页签。

  2. 单击安装Package

  3. 安装Package对话框,输入要访问的Package名称,单击确定完成安装Package。

    格式是projectName.package_name,且一次只能安装一个。

  4. (可选)将Package授权给角色,再将角色授权给用户,详情请参见通过控制台管理用户权限

命令行操作方式,请参见基于Package跨项目访问资源

查看Tables、Resources、UDF

权限配置

角色权限与授权

管理项目角色权限管理,并将角色授权给用户

  1. 项目配置页面,选择角色权限页签。

  2. 单击新增项目级别角色,创建支持MaxCompute相关权限的项目角色。

  3. 在弹出的新建角色对话框,根据界面提示文案配置项目信息,单击确定

    单击链接跳转至文末项目配置参数详解

    为用户授予项目、表、模型、资源、函数或实例的操作权限。可授予的权限列表如下:

    对象

    权限

    Table

    Describe、Select、Update、Alter、Drop、ShowHistory、Download

    Resource

    Read、Write、Download、Delete

    Function

    Read、Write、Download、Execute、Delete

    Package

    Read

    Project

    Read、Write、List、CreateTable、CreateInstance

  4. 选择目标项目级别角色,单击操作列的成员管理。选择需授权的阿里云主账号或RAM用户,单击确定完成授权。若首次授权时未能搜索到对应账号,可下方手动添加成员区域添加。

查看项目成员

MaxCompute的项目数据权限管控要求将用户(User)加入项目中进行授权。在项目配置页面,选择项目成员页签,可以查看项目内所有成员的相关权限详情。

后续步骤

对项目进行开发工作,请准备MaxCompute项目开发环境并安装相应工具。更多准备环境及安装工具操作请参见选择连接工具

附录:项目配置参数详解

以下展示创建项目和配置项目过程中控制台支持的所有参数详细说明:

参数分类

参数名称

参数具体说明

创建时可配置

基础信息

项目名称(全网唯一)

名称全局唯一,创建后不可修改。

字母开头,包含字母、数字以及下划线(_),长度应在328个字符之间。

image

计算资源付费类型

按需指定计算资源付费类型,并设置默认Quota。所有未明确指定Quota的计算任务都将使用默认Quota

  • 包年包月:适用于长期稳定运行的业务场景,能够提供固定的计算资源保障,避免资源抢占带来的不确定性。

  • 按量付费:适用于短期或测试阶段的业务场景,能够根据实际使用情况进行灵活计费。

Quota类型选择,请参见计算资源-Quota管理。更多使用逻辑请参见计算资源-Quota使用

image

默认Quota

image

存储总量

查看项目当前存储大小,此存储量与计量口径一致,即按Project采集压缩后的逻辑存储大小。

生命周期配置

数据保存生命周期

设置项目空间下的表是否需配置生命周期,即设置odps.table.lifecycle属性,有如下取值:

  • Optional:创建表时,Lifecycle子句为可选设置,如果不设置表的生命周期,则该表永久有效。

  • Mandatory:Lifecycle子句为必选设置,用户必须设置表的生命周期。

  • Inherit:创建表时,如果不设置表的生命周期,则该表的生命周期默认继承odps.table.lifecycle.value的值。odps.table.lifecycle.value属性设置表的生命周期,单位为:天。取值范围为1~37231,默认值为37231。

分层存储生命周期

定义分层存储生命周期规则,基于该规则触发分层存储类型自动转换。最近访问配置策略最近修改配置策略只需满足其中一个条件即可触发存储类型切换。

  • 对于非分区表:规则直接作用于整个表。当满足条件时,该表的存储类型会从标准自动转换为低频。

  • 对于分区表:规则作用于每个独立的分区,而非整个表。当某个分区满足条件时,仅该分区的存储类型会发生转换,其他分区不受影响。

详情请参见通过生命周期规则自动设置

超级管理员

成员

查看或编辑项目的super_administrator角色成员。

此处设置效果与角色权限页签里对super_administrator角色的成员管理一致,只是此操作支持RAM权限校验,即RAM用户拥有UpdateUsersToSuperAdmin权限后即可在此设置项目的super_administrator角色成员,详情请参见RAM权限

基础属性

允许分区表全表扫描

设置项目空间是否允许全表扫描,即为设置odps.sql.allow.fullscan属性。全表扫描会占用大量资源,为提升处理效率,不建议开启该功能

备份数据保留天数

设置项目空间备份数据的保留天数,即为设置odps.timemachine.retention.days属性。在此期间,您可以将当前版本恢复至任意一个备份的数据版本。

取值范围为[0,30],默认值为1,0代表关闭备份功能。

数据类型

可选择项目的数据类型版本

  • 1.0数据类型:适用于早期使用的MaxCompute项目,且该项目依赖的产品组件不支持2.0数据类型版本。

  • 2.0数据类型:适用于在202004月之前无存量数据的MaxCompute项目,且该项目依赖的产品组件支持2.0数据类型版本。

  • Hive兼容类型:适用于从Hadoop迁移的MaxCompute项目,且该项目依赖的产品组件支持2.0数据类型版本。

image

开启Decimal2.0

可选择项目是否开启MaxCompute 2.0Decimal数据类型,即为设置odps.sql.decimal.odps2属性。

存储类型

数据存储类型为项目级设置。存储规格和计费说明请参见存储费用

  • AZ存储:采用多可用区(AZ)内数据冗余存储机制,将用户数据冗余存储在同一地域(Region)的多个可用区。

  • AZ存储:采用单可用区(AZ)内数据冗余存储机制,将用户数据冗余存储在单一可用区内的多个存储设备上。

重要

建议与企业生产业务相关的数据选择AZ存储,能够抵御AZ级故障。AZ级故障时保障数据读取和写入服务不中断,保障数据的完整性与安全性,详情请参见同城容灾

image

存储加密

指定创建的MaxCompute项目是否需要开启存储加密

当选择需要加密时,需要选择密钥和对应算法:

  • 密钥:项目空间使用的密钥类型,包含默认密钥(MaxCompute Default Key)和自带密钥(BYOK)。默认密钥(MaxCompute Default Key)是MaxCompute内部创建的默认密钥。

  • 算法:密钥支持的加密算法,包含AES256AESCTRRC4

image

数据传输服务默认Quota

表示未特殊指定读写该项目数据需要使用的资源组Quota时,当前项目默认使用的数据传输服务资源组。

通常为Default,代表公共数据传输服务资源组,暂不支持通过控制台修改。

数据传输服务授权Quota

表示该项目已经授权所有用户和角色使用配置的独享资源组执行数据读写任务,因此即使未手动授权,也可在SDK中指定所配置的独享资源组Quota进行项目的数据读写任务。

一个项目仅支持配置一个独享资源组。

数据传输服务叠加Quota

数据传输服务独享资源组升级特性,支持将独享资源组和Default资源组叠加使用。

在此配置购买的独享资源组后,当前项目允许使用的最大并发数可以被提升为公共数据传输服务资源组和独享资源组的资源总和

  • 一个项目仅支持配置一个独享资源组,但允许多个项目配置同一个独享资源组。

  • 叠加使用时,Quota组需要指定Default;如需要使用开放存储storage api接口时,仍需要指定独享资源组,QuotaName格式为:ot_42854300324****_169821756****_p#ot_42854300324****_169821756****。

说明

该升级特性仅部分地域支持,以控制台展示为准。

  • 数据传输服务默认Quota和数据传输服务授权Quota。

  • 数据传输服务叠加Quota。

SQL消费限制

设置单SQL消费的最高阈值,即为设置odps.sql.metering.value.max属性。单位:扫描量(GB)*复杂度。

非必填项,当选择按量付费计费类型时建议设置,可以避免非预期的单SQL消费过高。同时也建议配置实时消费监控告警,多方位监控限制消费超出预期,详情请参见消费监控告警

项目时区

选择项目空间的时区,即为设置odps.sql.timezone属性。这将影响所有时间相关函数(如NOW(), GETDATE())的计算结果,确保跨地域团队或应用在处理时间数据时获得一致和预期的结果。

权限属性

使用ACL授权

设置是否使用ACL权限控制功能,即为设置CheckPermissionUsingACL属性,默认为true即使用状态。

使用Policy授权

设置是否使用Policy权限控制功能,即为设置CheckPermissionUsingPolicy属性,默认为true即使用状态。

允许对象创建者操作对象

设置是否允许对象创建者拥有对象的访问权限,即为设置ObjectCreatorHasAccessPermission属性。默认为允许状态。

允许对象创建者授权对象

设置是否允许对象创建者拥有对象的授权权限,即为设置ObjectCreatorHasGrantPermission属性。默认为允许状态。

启动Label访问控制

设置是否使用Label权限控制功能,即设置LabelSecurity属性,默认为不使用状态。

项目空间数据保护

设置是否开启项目的数据保护机制,即设置ProjectProtection属性,禁止或允许数据流出项目。

如选择开启项目空间数据保护,还允许设置例外受信任项目,详情请参见数据保护机制

开启Download权限

设置是否开启Download权限控制功能,即设置odps.security.enabledownloadprivilege属性。

开启项目级别租户资源访问控制

可查看项目绑定的租户资源。详情请参见项目级别租户资源访问控制

说明

目前此功能仅提供预览,暂不支持开启检查。

IP白名单

公网和云产品互联网络IP

设置公网和云产品互联网络下的IP白名单,仅允许白名单内的设备访问项目。

重要

如果只配置公网和云产品互联网络IP白名单,则公网和云产品互联网络访问受配置限制,VPC网络访问全部禁止。

VPC网络IP

设置VPC网络下的IP白名单,仅允许白名单内的设备访问项目。

重要

如果只配置VPC网络IP白名单,则VPC网络访问受配置限制,公网和云产品互联网络访问全部禁止。

MaxCompute外部网络

可用的MaxCompute外部网络地址

可添加或删除需要访问的目标公网IP或域名、端口。详情请参见访问公网方案

智能优化开关

自动物化视图(AutoMV)

开启后,根据用户作业查询习惯和性能自动创建物化视图,以提高计算效率,减少重复计算。

image

AutoMV可用存储上限

设置AutoMV可使用的存储资源上限,一旦超出该上限,AutoMV将禁止继续向已创建的物化视图中写入数据。详情请参见管理AutoMV开关并设置存储资源上限

image