重要功能发布记录

本文为您提供MaxCompute产品的重要功能发布信息。

MaxCompute的重要功能发布详情请参见产品重大更新

2024

11

功能名称

功能描述

发布时间

发布地域

相关文档

Logview 2.0 适配MaxFrame

Logview 2.0支持查看MaxFrame Session中提交的所有DAG的执行记录、运行耗时等信息。

2024-11-29

华东1(杭州)、华东2(上海)、华北2(北京)、华南1(深圳)、西南1(成都)、华北6(乌兰察布)、中国(香港)

通过Logview 2.0查看MaxFrame作业

湖仓一体能力增强

支持Parquet外部表写入使用ZSTD压缩,OSS外部表支持RAMRole身份进行STS鉴权等。

2024-11-26

全部地域

湖仓一体

MaxCompute V49版本SQL引擎能力增强

全新支持Bitmap索引和Bloomfilter索引,新增JSON_EXPLODE内置函数,并支持SQL多行注释、SUBQUERY_MAPJOIN HINT等多种语法升级;新增Split参数以调整表级别的任务并行度。

2024-11-26

全部地域

SQL引擎能力增强

物化视图推荐与管理功能优化升级

新增预估影响面和实际收益指标,辅助您决策是否采用推荐建议及管理现有物化视图。

2024-11-26

全部地域

物化视图推荐与管理

作业智能诊断功能发布

支持基于作业详细执行信息,对SQL作业进行智能诊断。从而协助用户及时发现作业报错或作业运行时长不符合预期等问题,并提供异常分析及解决建议。

2024-11-18

全部地域

作业智能诊断

MaxFrame支持自动化打包服务

MaxFrame支持在作业开发时声明所需的外部依赖包,简化了Python开发中第三方包的管理操作。

2024-11-01

华东1(杭州)、华东2(上海)、华北2(北京)、华南1(深圳)、西南1(成都)、华北6(乌兰察布)、中国(香港)

自动化打包服务

10

功能名称

功能描述

发布时间

发布地域

相关文档

同地域下支持购买多个包年包月计算资源一级Quota

MaxCompute支持同账号在同地域下购买多份包年包月计算资源,即同一个云账号在同地域下支持购买多个一级Quota,且多个一级Quota之间资源相互独立。

2024-10-14

全部地域

包年包月标准版

09

功能名称

功能描述

发布时间

发布地域

相关文档

存储成本优化功能发布

MaxCompute存储成本优化功能依据固定优化策略(近30天无访问的标准存储推荐转为低频存储;近180天无访问的标准存储推荐转为长期存储),结合表/分区的最近访问时间,判断是否可以将表/分区的分层存储属性由标准变更为低频或长期,并推算可能节省的存储成本(目录价),辅助您进行分层存储策略配置。

2024-09-27

华东1(杭州)、华东2(上海)、华北2(北京)、华南1(深圳)、西南1(成都)、华北3(张家口)、华北6(乌兰察布)

分层存储配置优化

控制台包年包月计算Quota管理交互界面升级

MaxCompute控制台包年包月计算Quota管理页面,保留原来大逻辑的基础上,把交互分成两大场景,提升Quota管理操作体验:

  • 基础配置:若无Quota分时诉求,基础配置可完成二级Quota的拆分与管理。

  • 伸缩配置:若有Quota分时诉求,基础配置拆分二级Quota以及配置其他基础参数后,在伸缩配置对Quota配置可伸缩的CU类型,同时新增全局视图浏览各时段所有QuotaCU配置。

2024-09-11

全部地域

计算资源-Quota管理

08

功能名称

功能描述

发布时间

发布地域

相关文档

存储资源观测功能发布

您可以查看所选地域下总存储用量以及各种存储类型占比情况,并根据项目和需要观测的时间区间去观测各类存储的变化趋势,以及详细的表或分区存储信息。以此判断是否存在存储异常激增的情况,及时对存储用量Top的项目或表/分区进行优化。

2024-08-16

华东1(杭州)、华东2(上海)、华北2(北京)、华南1(深圳)、西南1(成都)、华北3(张家口)、华北6(乌兰察布)

资源观测

作业性能观测功能升级

在原功能的基础上增加单位CU时处理的作业扫描量趋势,以及消耗资源、时间Top作业列表。通过所提供的指标可快速定位资源用量较多、耗时较长的作业,并及时治理,判断是否存在性能异常时段,结合作业运维功能定位引发原因,并及时治理。

2024-08-13

全部地域

资源观测

07

功能名称

功能描述

发布时间

发布地域

相关文档

作业性能观测

通过作业性能观测指标查看是否存在作业数量异常激增、资源用量异常激增等问题,并及时治理。通过对比不同时间的作业运行时长,判断是否存在异常慢作业拉低了整体作业性能。

2024-07-31

全部地域

资源观测

作业运维列表、作业分析概览页提供作业开始运行时间、等待时长及运行时长参数

通过该参数,您可以快速定位作业是否因等待资源耗时过长而导致整体运行较慢,进而结合作业分析判断具体由于资源供给不足或是存在多作业抢占资源导致,后续您可以依据具体业务情况优化作业执行情况、进行作业优先级调整或计算资源管理。

2024-07-04

全部地域

作业运维

计算成本优化功能在中国香港、新加坡等4个地域发布

该功能可基于您的实际作业请求量和资源配置期望,对包年包月一级Quota类型的计算资源生成更优的资源配置方案,也支持查看当前使用按量付费计算资源的项目调整为使用包年包月计算资源的资源配置推荐方案及效果推演,帮助您进一步优化计算成本和提高资源利用效率。

2024-07-01

中国香港、新加坡、印度尼西亚(雅加达)、德国(法兰克福)

计算资源配置优化

06

功能名称

功能描述

发布时间

发布地域

相关文档

支持行级访问控制

为了便于控制用户或角色对MaxCompute表中特定数据的访问,MaxCompute提供了行级访问控制功能,通过在原表上定义用户与数据(被允许访问的数据)的匹配规则,控制特定用户或角色仅可见其有权限访问的数据,从而提升数据安全性和合规性。

2024-06-28

全部地域

行级访问控制

05

功能名称

功能描述

发布时间

发布地域

相关文档

自定义镜像管理功能发布

针对SQLPython开发过程中,存在的业务逻辑复杂、依赖三方包众多、引用资源复杂等情况,MaxCompute推出自定义镜像管理功能,您可自由、灵活地使用Docker镜像来构建自己所需的完整开发环境,并在MaxCompute SQL、Python(PyODPSMaxFrame)开发中使用。

2024-05-16

全部地域

自定义镜像

作业性能观测功能发布

对于计算作业,可通过整体作业运行相关指标(如作业数量、CU用量及作业运行时长)查看是否存在作业数量异常激增、资源用量异常激增等问题,并判断作业性能是否符合预期。

2024-05-08

全部地域

作业性能观测

04

功能名称

功能描述

发布时间

发布地域

相关文档

窗口函数支持过滤功能

窗口函数支持过滤功能,在窗口函数计算过程中可以过滤掉不需要参与计算的行。

2024-04-10

全部地域

filter_clause

支持二进制常量

支持二进制常量,方便用户使用二进制数据类型的数据,用户可以用X'num' 代表二进制常量。

2024-04-10

全部地域

2.0数据类型版本

新增内建函数FROM_CHARSET

MaxCompute FROM_CHARSET支持将指定编码格式的二进制数据转换为UTF-8格式的字符串,以便后续进行计算时使用。

2024-04-10

全部地域

FROM_CHARSET

新增TIMESTAMP_NTZ数据类型

新增时区无关的时间数据类型TIMESTAMP_NTZ,方便数据在不同时区下进行转化,时间类型数据不受当前系统时区影响。

2024-04-10

全部地域

MaxCompute TIMESTAMP_NTZ数据类型

03

功能名称

功能描述

发布时间

发布地域

相关文档

镜像管理功能发布

MaxCompute提供镜像管理功能,内置数据分析、科学计算、机器学习(如Pandas、Numpy、Scikit-learn、Xgboost)等各类常用镜像,并已对镜像进行预先加热,您可在SQL UDF、PyODPS开发等场景中直接引用已有镜像,无需执行繁琐的镜像打包、上传等流程。

2024-03-27

全部地域

镜像管理

MaxCompute分布式计算框架MaxFrame发布

MaxFrame是由阿里云自研的分布式计算框架,支持Python编程接口、兼容Pandas接口且自动进行分布式计算,同时可直接使用MaxCompute计算资源及数据接口,与MaxCompute Notebook、镜像管理等功能共同构成了MaxCompute完整的Python开发生态。

2024-03-27

全部地域

MaxFrame

华北6(乌兰察布)正式开服

MaxCompute产品新增开通华北6(乌兰察布),提供企业级Serverless智能数仓服务,可以在控制台上按需求开通。

2024-03-26

华北6(乌兰察布)

-

ECS资源复用版发布

支持您通过资源共享的方式,将空闲的ECS预定资源在指定时间范围内转换为MaxCompute计算资源,具体实现路径为:通过资源共享将您的ECS立即生效容量预定共享至MaxCompute,共享后,MaxCompute将在共享时段内通过服务账号购买您预定单内的ECS实例,并部署MaxCompute服务,将ECS实例转换为您可直接使用的MaxCompute计算资源。

2024-03-21

全部地域

ECS资源复用版

操作审计事件迁移入仓功能发布

当您需要分析更长时间(超过最近90天)的操作事件时,可以通过操作审计创建跟踪,将操作事件投递至MaxCompute,方便进行查询和分析。

2024-03-14

全部地域

操作审计事件数据迁移至MaxCompute

控制台SQL分析功能发布

MaxCompute控制台的SQL分析,支持编辑及运行SQL命令,并对执行结果简单的图表分析;支持查看所有项目内的table、resource、udf的元数据信息,包括查看内置的租户级别Information Schema的视图元数据;同时内置公共数据集Demo,可以直接打开公共数据集DemoSQL文件执行代码,基于公开数据集体验及测试MaxCompute。

2024-03-14

全部地域

使用SQL分析连接

02

功能名称

功能描述

发布时间

发布地域

相关文档

跨地域灾备邀测发布

MaxCompute提供跨地域(Region)灾备功能,支持以项目(Project)为单位远程备份数据和元数据,确保备份地点与数据源的地理距离超过一百公里,以提升数据安全性。当遇到地域级别的故障时,该功能允许您将项目迅速切换到备份集群地域,并利用已备份的数据恢复业务。

2024-02-29

全部地域

跨地域灾备

01

功能名称

功能描述

发布时间

发布地域

相关文档

计算成本优化功能发布

MaxCompute计算资源优化功能升级为计算成本优化功能。在原计算资源优化功能的基础上,对于使用按量付费计算资源的项目,MaxCompute提供了使用包年包月计算资源的资源配置推荐方案及效果推演,以帮助您进一步优化计算成本,提高资源利用效率。

2024-01-25

全部地域

计算资源配置优化

控制台资源观测支持修改指标聚合算法

控制台资源观测为优化页面体验,每个指标至多支持展示60个时间点,因此当时间范围大于1h时,原先图表默认使用区间范围内(所选时间范围的分钟数/60)的平均值聚合数据。现在您可以根据自身需求更改聚合算法为最大值,以便更全面地分析资源消耗情况。

2024-01-02

全部地域

资源观测

2023

12

功能名称

功能描述

发布时间

发布地域

相关文档

按量付费闲时版新增地域发布

MaxCompute提供单价更低的按量付费计算资源规格类型(按量付费闲时版),为您降低在延迟不敏感场景下使用MaxCompute的成本。

2023-12-28

中国香港、新加坡、英国(伦敦)、日本(东京)、马来西亚(吉隆坡)、德国(法兰克福)、印度尼西亚(雅加达)、美国(弗吉尼亚)、美国(硅谷)

按量付费闲时版

控制台上线迁移服务

MaxCompute支持在控制台上可视化配置迁移任务,将Hive数据整库或者部分表迁移上云。

2023-12-26

全部地域

迁移服务(MMA)

支持通过控制台编辑外部网络地址

支持通过控制台添加或删除项目可用的外部网络地址。

2023-12-20

全部地域

网络开通流程

11

功能名称

功能描述

发布时间

发布地域

相关文档

支持增加TableStore外表脏数据处理配置

在读取TableStore外表数据时,用户可以配置遇到脏数据时的处理逻辑。

2023-11-22

全部地域

Tablestore外部表

支持PAIMON外部表

MaxCompute支持使用PAIMON外部表来读取PAIMON中的数据。

2023-11-22

全部地域

Paimon外部表

支持列级别数据加密

列级加密支持密钥集,支持密钥轮转,支持结合KMS密钥进行数据加解密操作。

2023-11-22

全部地域

加密函数

项目超级管理员设置支持通过RAM权限管控

支持拥有RAM权限(UpdateUsersToSuperAdmin)的RAM用户为某个项目设置超级管理员角色成员。

2023-11-21

全部地域

配置项目

09

功能名称

功能描述

发布时间

发布地域

相关文档

MapReduce支持SQL运行时执行模式

MaxCompute新增将MapReduce作业指定为SQL运行时执行。

2023-09-25

全部地域

MapReduce支持SQL运行时执行模式

作业分析功能发布

MaxCompute推出作业分析功能,方便开发者定位作业资源问题。

2023-09-21

全部地域

作业运维

08

功能名称

功能描述

发布时间

发布地域

相关文档

控制台成本分析功能发布

MaxCompute控制台发布成本分析功能,通过报表形式方便管理者快速分析或审计按量计费的费用情况。

2023-08-18

全部地域

成本分析

租户级别Information Schema

租户级别Information Schema从租户角度提供项目及使用历史等元数信息,方便一次性获取租户下某类对象的所有元数据。

2023-08-08

全部地域

租户级别Information Schema

按量付费闲时版发布

MaxCompute推出按量付费闲时版,为您降低开发、测试等延迟不敏感场景下的计算成本。

2023-08-01

华东1(杭州)、华东2(上海)、华北2(北京)、华北3(张家口)、华南1(深圳)、西南1(成都)

按量付费闲时版

06

功能名称

功能描述

发布时间

发布地域

相关文档

新增JSON数据类型

新增JSON数据类型,MaxCompute支持写入JSON数据类型时,自动优化存储,提高JSON数据计算分析性能。

2023-06-27

全部地域

MaxCompute JSON类型使用指南

增强数据写入时Zorder功能

MaxCompute增强Zorder功能,支持数据写入时全局进行统一排序,减少数据扫描量,提高计算性能。

2023-06-27

全部地域

插入或覆写数据(INSERT INTO | INSERT OVERWRITE)

新增列数据清空功能

MaxCompute支持用户清空指定表或者分区的列数据,节省存储空间。

2023-06-27

全部地域

更新或删除数据(UPDATE | DELETE)

新增Transaction Table2.0表类型

MaxCompute新增Transaction Table2.0表类型,做到分钟级别的数据同步入仓,支持增量查询与历史版本数据查询。

2023-06-27

全部地域

近实时数仓概述

新增8个内建复杂类型函数

MaxCompute新增8个内建复杂类型函数,简化用户对数组的操作,提高开发效率。

2023-06-27

全部地域

计算资源优化推荐功能发布

MaxCompute推出计算资源优化推荐功能,向客户生成并推荐更优的计算资源配置方案,进一步化计算成本。

2023-06-08

全部地域

计算资源配置优化

05

功能名称

功能描述

发布时间

发布地域

相关文档

包年包月二级配额(Quota)调度策略管理功能发布

MaxCompute支持用户查看与设置包年包月二级配额(Quota)的调度策略,以实现资源的合理分配。

2023-05-24

全部地域

计算资源-Quota调度策略说明

支持TableStore外表指定PutRow方式写入

MaxCompute支持Tablestore外表新增PutRow写入方式。

2023-05-06

全部地域

Tablestore外部表

支持将数据带表头写入OSSCSV文件

MaxCompute支持将数据写入OSSCSV文件中时,指定第一行为表头名称。

2023-05-06

全部地域

创建OSS外部表

新增多个内建函数

MaxCompute新增4个数学函数,3个时间日期相关函数和1个字符串函数,使用内建函数简化用户SQL代码。

2023-05-06

全部地域

物化视图支持定时刷新数据

物化视图支持多种定时方式刷新数据,让物化视图能保持更新鲜的数据供用户使用。

2023-05-06

全部地域

物化视图操作

SQL提供内建加密函数和解密函数

MaxCompute SQL提供内建加密函数和解密函数,支持用户手工对表的列进行加密或者解密操作。

2023-05-06

全部地域

加密函数

支持使用QUALIFY过滤窗口函数的结果

MaxCompute支持使用QUALIFY语法根据您指定的过滤条件过滤窗口函数的结果,简化用户SQL代码。

2023-05-06

全部地域

QUALIFY

持通过TABLESAMPLE对表数据进行采样

MaxCompute支持通过TABLESAMPLE对表数据进行采样,方便用户对表数据按不通采样方式进行采样。

2023-05-06

全部地域

TABLESAMPLE采样

04

功能名称

功能描述

发布时间

发布地域

相关文档

支持更改表结构

支持用户修改表结构,包括:新增复杂列,删除列,更改列顺序以及更改列数据类型。

2023-04-25

全部地域

分区操作

物化视图加速

物化视图加速可以自动推荐创建物化视图SQL脚本,方便用户快速创建物化视图,减少重复计算,减少计算资源。

2023-04-23

全部地域

物化视图推荐与管理

新人特惠规格

MaxCompute在阿里云免费试用中心推出新人特惠规格,提供一定的计算和存储免费额度方便新客进行产品核心能力体验。

2023-04-11

全部地域

新用户免费试用额度

新版作业运维

新版作业运维将提供全量MaxCompute作业运行列表进行运维管理,同时满足查看作业快照信息和作业当前信息。

2023-04-06

全部地域

作业运维

03

功能名称

功能描述

发布时间

发布地域

相关文档

支持使用SparkMapReduce任务处理External Volume中的非结构化数据

MaxCompute支持使用SparkMapReduce任务在仓内处理基于OSSExternal Volume中的非结构化数据。

2023-03-30

全部地域

利用MaxCompute External Volume处理非结构化数据

推出向量计算引擎Proxima CE

Proxima CE是超大规模离线向量检索引擎,用于支持批量离线向量检索任务,包括基础的向量检索、多类目检索及百万TopK检索等。

2023-03-30

全部地域

向量计算(Proxima CE)概述

支持External Volume非结构化数据存储能力

External VolumeMaxCompute提供的非结构化大数据存储方案,是OSS路径在数仓中的映射和管理对象。

2023-03-30

全部地域

External Volume操作

02

功能名称

功能描述

发布时间

发布地域

相关文档

增强显示数据对象SHOW命令

SHOW命令可以列出更细分类下的数据对象,包括表,视图和函数。

2023-02-25

全部地域

SHOW

支持标签分账

MaxCompute支持为项目(Project)、一级配额(Quota)绑定标签,并实现标签分账。

2023-02-01

全部地域

使用标签分账

01

功能名称

功能描述

发布时间

发布地域

相关文档

支持Hologres外部表存储直读

支持Hologres存储直读,直读Hologres存数据时可以减少Hologres的连接数和提高读取数据的速度。

2023-01-21

全部地域

Hologres外部表

增加Quota使用规则

通过对MaxCompute Quota配置规则条件,实现满足规则条件的作业可调度到对应Quota,可更灵活的管理Quota的使用。

2023-01-12

全部地域

计算资源-Quota使用

2022

12

功能名称

功能描述

发布时间

发布地域

相关文档

增加SQL Window关键字

新增WINDOW关键字,用户可以用WINDOW关键字定义窗口,用户只要对窗口定义一次,进行重复使用。

2022-12-14

全部地域

WINDOW关键字

Update语法支持From子句

UPDATE数据更新操作时可以直接使用FROM子句进行更新数据。

2022-12-14

全部地域

更新或删除数据(UPDATE | DELETE)

优化增强字符串函数和聚合函数能力并新增字符串函数

  • 优化3个字符串处理内建函数:CAST/SPLIT/RAND。

  • 增强两个窗口函数:NUMERIC_HISTOGRAM/PERCENTILE_APPROX。

  • 新增函数MASK_HASH。

2022-12-14

全部地域

内建函数概述

11

功能名称

功能描述

发布时间

发布地域

相关文档

支持自定义项目管理类角色

MaxCompute的项目内置AdminSuper_Administrator两个管理类角色,同时也支持自定义管理类角色。通过新版控制台的项目管理-角色管理,创建项目角色时选择Admin类型实现自定义管理类角色。您可以通过自定义管理类角色让一些角色仅能进行权限分配管理、只能进行IP白名单管理等。

2022-11-15

全部地域

MaxCompute权限

新售卖规格弹性预留CU发布

MaxCompute弹性预留CU是在购买包年包月预留CU的基础上实现弹性扩缩容,包年包月预留CU购买需要至少包月购买,弹性预留CU支持一天内某些时段购买使用,您可以通过MaxCompute新版控制台的Quota管理,合理的配置Quota计划和时间计划,实现更少的成本提升预留资源的满足率。

2022-11-15

全部地域

弹性预留CU

新版控制台发布

MaxCompute新版控制台将提供全新的项目管理、Quota(配额)管理交互,同时集成全新功能:弹性预留CU、自定义项目管理类角色访问控制。较于老版本,新版控制台主要新特性如下:

  • 项目管理:支持所有MaxCompute Project的管理,支持独立创建或删除Project,支持界面化通过ACLPolicy方式进行角色权限管理(包含Table、Resource、Function、Package、Project对象的权限)和Package管理,支持界面化编辑Project常用参数属性,集成新功能:自定义项目管理类角色。

  • Quota管理:即MaxCompute管家中的配额管理,新版控制台提供全新的Quota管理交互。透出一级Quota,支持全视角配置包年包月二级Quota,支持整点、半点粒度的Qutoa调度时间计划(原来只支持每天最多3个时段分时),集成新规格配置:弹性预留CU。

  • 新版控制台访问控制:基础权限控制接入RAM控制。

2022-11-15

全部地域

计算抵扣包和存储抵扣包发布

MaxCompute计算抵扣包支持抵扣按量付费SQL、MapReduce、Spark、Mars、OSS外部表SQL、OTS外部表SQL计费项的用量。抵扣包按不同的容量大小会有不同的优惠,如果您购买了计算抵扣包,按量付费的对应计费项的用量由抵扣包自动抵扣。 MaxCompute存储抵扣包支持抵扣标准存储和备份存储计费项的用量。MaxCompute的存储用量都是按量付费,不限制存储使用量,按实际使用量和时间付费。存储抵扣包容量越大购买时长越长优惠力度越大,如果您购买了存储抵扣包,对应计费项的用量由抵扣包自动抵扣。

2022-11-01

全部地域

计算抵扣包和存储抵扣包

10

功能名称

功能描述

发布时间

发布地域

相关文档

支持数据结构由project.table升级为project.schema.table,方便与三层结构数据的数据源对接。

MaxCompute项目(Project)作为基本组织单元,是进行多用户隔离和访问控制的主要边界。同时Project中包含表(Table)、资源(Resource)、函数(Function)对象,这些对象原来直接放在Project下,需要Project充当类似于传统数据库的DatabaseSchema的概念,概念容易混淆(既是Database又是Schema),在有很多表或者对象的情况使用便利性较差。 目前MaxCompute支持Schema,在Project之下对Table、Resource、Function进行归类。如果您原数据存储层级结构也如project.schema.table,且即将迁移到MaxCompute,可以选择使用MaxComputeSchema功能,可以直接与数据源层级对齐无需在迁移时做业务重构,减少工作量。

2022-10-13

全部地域

Schema操作

09

功能名称

功能描述

发布时间

发布地域

相关文档

支持使用双签名模式建立Hologres外部表

双签名模式是MaxComputeHologres共同研发的认证及鉴权协议,在MaxCompute侧使用用户登录信息加签名后,将认证数据传递给Hologres侧,Hologres根据与MaxCompute底层达成的协议,进行同名认证及鉴权。这样您只要在MaxComputeHologres具有相同的账号,就可以直接访问Hologres外部表,无需额外设置认证信息。

2022-09-24

全部地域

Hologres外部表

支持通过Create table like方式创建与外部数据源中表结构相同的表。

利用MaxCompute湖仓一体在MaxCompute中创建与EMR、Hadoop、DLF等外部数据源中表结构相同的表,利用Create table like语法将外部数据源中的表结构迁移至MaxCompute内,以获取更好的数据治理能力和访问性能。

2022-09-23

全部地域

使用SQL管理外部项目

08

功能名称

功能描述

发布时间

发布地域

相关文档

Spark on MaxCompute支持访问 OSS外部表

Spark on MaxCompute支持访问MaxCompute OSS外部表,底层文件格式支持PARQUET、TEXTFILE、ORC、AVROSEQUENCEFILE格式。

2022-08-31

全部地域

OSS外部表

支持分区表到期后自动删除表

当分区表的分区数据生命周期到期会自动回收,当所有分区都自动回收后,MaxCompute支持设置自动删除该分区表。

2022-08-27

全部地域

生命周期操作

新增三个聚合函数

新增三个聚合函数,分别是BITWISE_AND_AGG对输入值做BIT AND操作并返回聚合值;MIN_BY返回指定列最小值所在行指定列的值;MAX_BY返回指定列最大值所在行指定列的值。

2022-08-27

全部地域

聚合函数

创建内表时支持使用like语句复制外部表的表结构

创建内部表时支持使用like复制外部表的表结构,提高建表效率。

2022-08-27

全部地域

创建表

新增物化视图状态查看函数

新增物化视图状态查看函数,该函数可以判断当前物化视图或者物化视图的分区的数据是否跟原表的数据一致,如果一致返回为True,否则返回False。

2022-08-27

全部地域

物化视图操作

物化视图支持生成空分区

当刷新分区物化视图时,如果物化视图计算后对应的分区没有数据时,物化视图会生成一个没有数据的空分区,保持分区的连续性。

2022-08-27

全部地域

物化视图操作

Use Quota(作业级别指定计算资源)功能发布

通过MaxComputeUse Quota功能,实现作业级别指定Quota,提升Quota使用的灵活性。如Project内某些作业占用大量资源会影响整体项目作业时效(如数据回刷作业占大量资源但时效要求不高、某些占用大量资源且时效要求高的算法作业),需要进行Quota隔离指定资源进行计算,可以通过Use Quota功能直接指定,无需单独创建Project进行作业迁移通过Project绑定Quota来实现。

2022-08-23

全部地域

计算资源-Quota使用

07

功能名称

功能描述

发布时间

发布地域

相关文档

新增一个正则函数

MaxCompute新增一个正则函数regexp_extract_all,您可以用该函数一次性从需要处理的字符串中匹配所有满足要求的子字符串,并以数组方式返回,提高数据处理效率。

2022-07-14

全部地域

字符串函数

支持Unload函数导出数据时自定义导出文件名的前后缀

支持使用Unload函数从MaxCompute导出数据到OSS时,自定义设置导出数据文件名的前缀和后缀。

2022-07-14

全部地域

UNLOAD

支持在表级别设置Split Size参数

在表级别设置Split Size参数控制并发度,当您发现资源比较充足且作业跑的比较慢的时候或者发现作业等待资源时间比较长且资源不足时,可以通过调整该参数,提升计算效率。

2022-07-14

全部地域

SELECT语法

新增三个窗口函数以及性能优化

新增first_valuelast_valuenth_value三个窗口函数,以及对现有所有窗口函数进行性能调优,窗口函数的计算性能大幅提升。

2022-07-14

全部地域

窗口函数

新增六个聚合函数

新增BITWISE_OR_AGGMAP_AGGMULTIMAP_AGGMAP_UNIONMAP_UNION_SUMHISTOGRAM六个聚合函数,可以对输入的Bit值或者Map对象做聚合操作,更加便捷的做数据分析统计。

2022-07-14

全部地域

聚合函数

06

功能名称

功能描述

发布时间

发布地域

相关文档

支持在DataWorks公共表中查看外部数据源的元数据信息

支持在DataWorks公共表中查看外部数据源的元数据信息,使基于湖仓的数据开发人员方便查看外部数据源的表、字段和分区信息。

2022-06-28

全部地域

MaxCompute湖仓一体概述

查询加速(MCQA)支持包年包月产品规格

MaxCompute包年包月产品规格支持配制交互式资源用于查询加速优化,查询加速(MCQA)功能可以使EB级数据仓库服务内提供弹性并发的秒级查询能力,在MaxCompute原先吞吐量优化的基础上,补足对延迟优先场景的支持能力。查询加速让MaxCompute一个服务同时满足数据准备(ETL)、数据挖掘(机器学习)、数据探索(Ad-hoc)、报表分析等多使用场景需要。通过自动识别短查询作业并加速处理、快速响应查询结果的方式,增强了MaxCompute SQL的整体处理性能,满足报表分析、即席查询场景的使用要求。

2022-06-23

全部地域

包年包月规格下使用查询加速(邀测)

05

功能名称

功能描述

发布时间

发布地域

相关文档

按外部表类型对外部表计算独立计费

MaxCompute按外部表类型进行独立计费,目前用户可以在自己的账单上清晰看到OSS外部表和Tablestore外部表分别产生的费用,方便用户查看不同数据源做数据联合计算产生的费用。

2022-05-17

全部地域

查看账单详情

03

功能名称

功能描述

发布时间

发布地域

相关文档

MaxCompute新增DISTRIBUTED MAP JOIN

支持用户在特殊场景下使用HINT方式进行DISTRIBUTED MAP JOIN计算,提高计算性能,减少计算时间。

2022-03-17

全部地域

DISTRIBUTED MAPJOIN

MaxCompute增强OSS外表能力

MaxComputeOSS外表写数据时,支持自动创建托管目录。在创建OSS外表时可以指定读取文件的缓存容量。

2022-03-17

全部地域

OSS外部表

MaxCompute增加半结构化数据(JSON)新解析方式

MaxCompute支持用户JSON数据键值中带特殊字符点(.),可以用['']来读取带点作为键值的数据。

2022-03-17

全部地域

GET_JSON_OBJECT_TUPLEJSON_TUPLE

MaxCompute增强TRIM、LTRIMRTRIM函数能力

MaxCompute支持用TRIM、LTRIM、RTRIM函数去除字符串左端,右端或者两端的指定字符功能。

2022-03-17

全部地域

字符串函数

MaxCompute增强物化视图自动改写能力

物化视图新增OUTER JOINUNION、UNION All的自动改写能力。

2022-03-17

全部地域

物化视图操作

MaxCompute支持压缩TEXTFILE格式文件的Skip headerSkip footer

MaxCompute支持通过skip.header.line.countskip.footer.line.count,对CSV格式文件的数据的首尾行进行跳过处理,即不处理CSV格式文件中的首尾行数据,包括以.gz、.bz2和.lzo的方式压缩过的CSV文件。

2022-03-01

全部地域

创建OSS外部表

MaxCompute兼容开源Spark的计算服务全新支持3.1版本

MaxCompute兼容开源Spark的计算服务继1.6、2.3、2.4版本之后,全新支持Spark 3.1版本。

2022-03-01

全部地域

搭建Linux开发环境

02

功能名称

功能描述

发布时间

发布地域

相关文档

MaxCompute Logview新增数据安全管理功能

MaxCompute Logview的运行结果支持自定义配置是否显示,进一步对数据安全进行管控。

2022-02-25

全部地域

项目空间操作

MaxCompute支持表结构变更

MaxCompute支持表结构变更功能,包括表可以新增复杂类型字段,表删除字段以及表字段顺序变更三种功能。

2022-02-23

全部地域

分区操作

01

功能名称

功能描述

发布时间

发布地域

相关文档

MaxCompute外部项目元数据信息支持在DataWorks数据地图查看

MaxCompute外部项目元数据信息支持在DataWorks数据地图查看。

2022-01-10

华东1(杭州)、华东2(上海)、华北2(北京)、华南1(深圳)、华北3(张家口)、和新加坡地域

通过DataWorks管理湖仓一体

2021

12

功能名称

功能描述

发布时间

发布地域

相关文档

支持向导式开通MaxComputeVPCHadoop Hive 和数据湖构建DLF+ OSS的连接

支持一站式创建到VPC的网络连接、数据源连接以及湖仓一体外部项目,代替原有的工单开通方式,时间从天级别缩短到分钟级。增加湖仓一体主页,集成湖仓一体创建、开发、管理和治理等主要功能入口。

2021-12-30

全部地域

MaxCompute湖仓一体概述

MaxCompute支持渐进式计算

MaxCompute支持渐进式计算,在处理数据过程中按照一定时间颗粒度自动按时间分区保存处理过程中的中间结果数据,在下一个周期执行时可以重复使用上周期已经计算好的重叠时间部分的数据,从而降低了计算资源消耗、执行调度时间,为客户节省了费用的同时提高了作业的运行效率。

2021-12-03

全部地域

参考:渐进式计算

MaxCompute物化视图功能增强

MaxCompute物化视图支持创建分区和聚簇,在查询物化视图时如果发现有分区数据不存在物化视图中时,可以设置系统自动穿透去查询源表,并返回源表和物化视图的汇总数据。

2021-12-01

全部地域

物化视图操作

11

功能名称

功能描述

发布时间

发布地域

相关文档

MaxCompute专有网络连接管理产品化发布

MaxCompute支持通过外部表、UDF及湖仓一体等功能访问VPC网络,需要先开通MaxCompute和目标IP或服务,例如HBase、RDS、Hadoop集群等连通目标的网络连接。前期开通MaxCompute专有网络连接,需要通过页面表单进行申请添加。专有网络连接管理产品化发布后,您可以通过MaxCompute控制台的网络资源功能界面自行增加或删除专有网络连接,无需通过表单申请并等待审批,提升开发效率。在配置前,您需先了解网络资源管理相关的管理权限,有权限的账号方可进行操作。

2021-11-29

  • 华北2(北京)

  • 华东2(上海)

  • 华北3(张家口)

  • 华东1(杭州)

  • 华南1(深圳)

网络开通流程

MaxCompute支持清空分区表中指定分区的数据

MaxCompute支持用户手动清空分区表中指定的一个或者多个分区的数据,但不会删除分区表或者分区表的分区元数据信息。同时MaxCompute可以支持用过滤条件来筛选需要清空数据的分区。

2021-11-23

全部地域

清空分区数据

MaxCompute集成网易有数BI工具(商业化)发布

MaxCompute集成网易有数BI无缝对接,支持网易有数BIMaxCompute直连场景下BI分析,同时可以支持可视化配置数据缓存时长,对数据进行缓存,以提高数据查询分析的速度,降低时延,提高用户体验。

2021-11-18

全部地域

网易有数BI连接MaxCompute

10

功能名称

功能描述

发布时间

发布地域

相关文档

MaxCompute外表支持HBase增强版和云原生多模数据库Lindorm

云数据库HBase增强版,是由云原生多模数据库Lindorm的宽表引擎提供的、完全兼容HBase的云上托管数据库。云原生多模数据库Lindorm是面向物联网、互联网、车联网等设计和优化的,支持宽表、时序、文本、对象、流、空间等多种数据的统一访问和处理的云原生多模超融合数据库。在很多应用场景中需要把HBase增强版或者Lindorm的数据导入到MaxCompute做数据加工、数据分析和联邦查询,同时MaxCompute中的数据也需要写入HBase增强版或者Lindorm中。现在可以在MaxCompute中建立HBase增强版或者Linorm的外表,对HBase增强版或者Lindorm中的数据进行读写操作。

2021-10-29

全部地域

Lindorm外部表(云原生多模数据库)

MaxCompute集成观远数据(GuanData)BI工具(商业化)发布

MaxCompute集成GuanData无缝对接,支持GuanDataMaxCompute直连场景下BI分析的查询加速,和抽数据场景下对MaxCompute全表数据读取。

2021-10-11

全部地域

观远BI连接MaxCompute

09

功能名称

功能描述

发布时间

发布地域

相关文档

MaxCompute 产品在华南1金融云(深圳)正式开服

MaxCompute支持的地域增加华南1金融云(深圳)。

2021-09-14

华南1金融云(深圳)

MaxCompute 支持访问开启Kerberos 认证授权机制的 Hadoop集群

大部分企业的Hadoop的生产集群开启了 Kerberos认证授权机制,本次功能升级能够利用MaxCompute访问开启Kerberos认证授权机制的 Hadoop集群,极大的扩展了湖仓一体对接Hadoop的适用范围。

2021-09-01

  • 华东1(杭州)

  • 华东2(上海)

  • 华北2(北京)

  • 华南1(深圳)

  • 华北3(张家口)

  • 新加坡

MaxCompute 支持通过湖仓一体方式读取OSS上的Hudi或 Delta Lake格式存储

Delta LakeHudi是数据湖方案中常用的存储机制,为数据湖提供流处理、批处理能力。MaxCompute基于阿里云DLF、OSS产品提供了支持DeltaHudi 存储机制的湖仓一体架构。您可以通过MaxCompute查询到实时数据,即时洞察业务数据变化。

2021-09-01

  • 华东1(杭州)

  • 华东2(上海)

  • 华北2(北京)

  • 华南1(深圳)

  • 新加坡

基于DLF、RDSFlink、OSS支持Delta LakeHudi存储机制

08

功能名称

功能描述

发布时间

发布地域

相关文档

MaxCompute SQL新增编码转换等16个内置函数

MaxCompute SQL 新增内置函数包括:

  • 复杂类型函数

    FIELD:获取STRUCT中的成员变量的取值。

  • 日期函数

    TO_MILLIS:将指定日期转换为以毫秒为单位的UNIX时间戳。

  • 字符串函数

    • ENCODE:将字符串按照指定编码格式编码。

    • FIND_IN_SET:在以逗号分隔的字符串中查找指定字符串的位置。

    • LOCATE:在字符串中查找另一指定字符串的位置。

    • PARSE_URL_TUPLE:对URL进行解析返回多个部分的信息。

  • 数学函数

    CORR:计算两列数据的皮尔逊系数。

  • 其他函数

    • HASH:对输入的参数进行散列运算,返回一个HASH值。

    • COMPRESS:对输入的字符串,按照GZIP算法进行压缩。

    • DECOMPRESS:对于BINARY类型的输入,使用GZIP算法进行解压缩。

    • NULLIF:如果expr1expr2的值相等,返回NULL;否则返回expr1。

    • FORMAT_NUMBER:将数字转化为指定格式的字符串。

    • SHA:计算字符串或者二进制的SHA-1哈希值,并将值以十六进制字符串返回。

    • SHA1:计算字符串或者二进制的SHA-1哈希值,并将值以十六进制字符串返回。

    • SHA2:计算字符串或者二进制的SHA-2系列哈希值(支持SHA-224,SHA-256,SHA-384SHA-512)。

    • CRC32:计算字符串或者二进制的循环冗余校验值。

2021-08-31

全部地域

MaxCompute SQL UPDATE、DELETEMERGE INTO功能商业化

2021810日起,MaxCompute SQLUPDATE、DELETEMERGE INTO功能结束免费公测,开始正式计费。已经使用UPDATE、DELETEMERGE INTO功能的按量计费作业,届时会产生计算费用。如果您之前因为担心公测稳定性问题而暂未使用UPDATE、DELETEMERGE INTO功能,届时可以放心使用。MaxComputeUPDATE、DELETEMERGE INTO功能的相关可用性、稳定性等提供与MaxCompute SQL能力同等的保障。

2021-08-10

  • 华北2(北京)

  • 华东2(上海)

  • 华北3(张家口)

  • 华东1(杭州)

  • 华南1(深圳)

  • 西南1(成都)

MaxCompute流式数据通道服务功能商业化发布

MaxCompute流式数据通道服务提供流式语义API支持,简化分布式服务开发操作。支持分布式服务并发创建分区,支持数据异步zorder by排序功能。

2021-08-09

全部地域

流式数据通道服务

MaxCompute SQL支持物化视图

MaxCompute SQL推出物化视图(Materialized View)功能。物化视图本质是一种预计算,即把某些耗时的操作(例如JOIN、AGGREGATE)的结果保存下来,以便在查询时直接复用,从而避免这些耗时的操作,最终达到加速查询的目的。

物化视图适用于如下场景:

  • 模式固定、且执行频次高的查询。

  • 查询包含非常耗时的操作,比如聚合、连接操作等。

创建了物化视图后,执行查询操作时,MaxCompute SQL查询改写能力会自动匹配到最优物化视图,并直接从物化视图中读取数据,从而大大提高查询效率,您不需要修改已有查询。

2021-08-06

全部地域

物化视图操作

07

功能名称

功能描述

发布时间

发布地域

相关文档

MaxCompute SQL支持对部分聚合函数输入预排序

MaxCompute SQL的聚合函数WM_CONCATCOLLECT_LIST及对数据输入顺序敏感的UDAF函数,如果指定了排序列WITHIN GROUP (ORDER BY col1[, col2...]),那么聚合函数的输入会保证有序。

2021-07-30

全部地域

聚合函数

MaxCompute SQL子查询支持多列运算的语法

MaxCompute SQL兼容PostgreSQL子查询语法,提供in subquery/scalar subquery支持多列运算的语法。其中:

  • in subquery

    • in后的表达式可以为简单的SELECT多列语句。

    • in后的表达式中可以使用聚合函数。

    • in后的表达式可以为常量。

  • scalar subquery

    • SELECT列为包含多列的SCALAR SUBQUERY表达式,只支持等值表达式。

    • SELECT列可以为BOOLEAN表达式,只支持等值比较。

    • where支持多列比较,只支持等值比较。

2021-07-29

全部地域

子查询(SUBQUERY)

MaxCompute项目删除新功能发布

您可以通过阿里云账号(主账号)或具备项目Super_Administrator角色的RAM用户账号登录MaxCompute控制台删除MaxCompute项目。支持如下两种删除方式:

  • 逻辑删除,15日内可恢复:删除后项目不可用,15天内您可以在项目管理页签的目标MaxCompute项目的操作列单击恢复,恢复项目。超过15天会彻底删除项目且永久无法恢复。

  • 立即删除,永久不可恢复:彻底删除,永久不可恢复。此方式删除后您可以立即创建同名项目。

2021-07-29

  • 华北2(北京)

  • 华东2(上海)

  • 华北3(张家口)

  • 华东1(杭州)

  • 华南1(深圳)

  • 西南1(成都)

删除MaxCompute项目

04

功能名称

功能描述

发布时间

发布地域

相关文档

MaxCompute支持Dynamic Filter智能优化功能

JOIN是分布式系统中常见的操作,在海量数据场景下,也是一个非常耗时、耗资源的操作。针对JOIN场景,MaxCompute推出Dynamic Filter智能优化功能,可以利用JOIN本身的等值连接属性,基于运行时动态生成过滤器,在ShuffleJOIN之前提前过滤数据,实现加速查询运行。该功能适用于维度表和事实表执行JOIN的场景。您可以在Session级别通过开关强制打开、智能选择打开或手工提示使用动态过滤器,并使用动态分区裁剪方法先过滤分区再使用动态过滤器。

2021-04-07

  • 华北2(北京)

  • 华东2(上海)

  • 华北3(张家口)

  • 华东1(杭州)

  • 华南1(深圳)

  • 西南1(成都)

动态过滤器(Dynamic Filter)

03

功能名称

功能描述

发布时间

发布地域

相关文档

MaxCompute Project全量作业或Project全量SQL作业超时监控告警功能发布

MaxCompute支持通过云监控配置阈值报警规则,监控作业运行时长。当作业运行超时后,系统会将报警信息发送至报警联系人,助力及时识别异常作业,提升运维效率。

2021-03-16

  • 华北2(北京)

  • 华东2(上海)

  • 华北3(张家口)

  • 华东1(杭州)

  • 华南1(深圳)

  • 西南1(成都)

作业超时监控告警

MaxCompute 外部表支持SNAPPY、LZO压缩格式

如果您的数据格式为TEXTFILE,例如JSON,存放在OSS,希望通过外部表读写且支持压缩,MaxCompute提供了开源数据格式外部表对SNAPPY、LZO压缩文件的读写能力。

2021-03-16

全部地域

支持压缩格式数据

MaxCompute SQL支持FROM_JSON/TO_JSON函数

FROM_JSON函数可以将JSON转换成MaxCompute的数据类型,或提取JSON中的信息,根据JSON字符串jsonStrschema信息,返回ARRAY、MAPSTRUCT类型。TO_JSON函数可以将给定的复杂类型ARRAY、MAPSTRUCT,以JSON字符串格式输出。

2021-03-16

全部地域

字符串函数

MaxCompute SQL支持UPDATE/DELETE/MERGE INTO语法(公测)

UPDATE/DELETEMaxCompute新支持的在行级别操作表或者分区数据的语句。相比之前订正表或者分区中的少量数据,也需要读取全量数据,关联生成新数据之后再INSERT OVERWRITE全量写回的方法,UPDATE/DELETE操作读写数据量都显著下降。

当您对目标表的一次操作包括INSERT、UPDATE、DELETE逻辑时,MERGE INTO功能可以用一条SQL语句进行一次扫描完成全部操作,执行效率更高。同时,MERGE INTO任务具备原子性,任一内部逻辑处理失败,则整体作业执行失败,避免同一批操作部分逻辑无法回退或重做的问题。您需要创建Transactional表才能使用UPDATE/DELETE/MERGE INTO功能。并且因为大数据系统保证任务级别的ACID,当作业并发运行且操作的目标表相同时,可能会出现作业冲突。需要注意的是目前UPDATE/DELETE/MERGE INTO处于公测阶段,不收取计算费用,但公测期间也暂时不对您使用此功能用于生产的作业和数据提供保证,重要数据请做好备份。

2021-03-16

全部地域

02

功能名称

功能描述

发布时间

发布地域

相关文档

MaxCompute 湖仓一体功能商业化发布

MaxCompute湖仓一体方案通过数据仓库 MaxCompute、数据湖(对象存储OSSHadoop HDFS)共同实现。本次发布两种构建湖仓一体的方式:

  • 与阿里云OSS+DLF构建湖仓一体能力:通过MaxComputeOSS实现。该方式需要配套使用阿里云产品数据湖构建DLF(Data Lake Formation)。数据湖的元数据(Schema)全部位于DLF中。MaxCompute可以利用DLF对湖数据的元数据管理能力,提升对OSS半结构化格式(AVRO、CSV、JSON、PARQUET、ORC)数据的处理能力。

  • Hadoop HDFS构建湖仓一体能力:通过MaxComputeHadoop HDFS(包括本地机房搭建、基于云上虚拟机搭建以及阿里云E-MapReduce等)实现。您需要填写MaxCompute湖仓一体方案使用申请表,提交申请后,MaxCompute团队技术人员会联系并协助您完成后续操作。

2021-02-26

  • 华北2(北京)

  • 华东2(上海)

  • 华东1(杭州)

MaxCompute湖仓一体概述

MaxCompute支持云HBase外部表(公测)

MaxCompute支持通过专有网络连接方案,访问用户的云HBase。用户完成网络连通和授权,可以创建HBase外部表,通过Hive提供的HBaseStorageHandler读写HBase中的表的数据。使用HBase外部表,可以同步HBase中的数据到MaxCompute进行后续ETL处理,也可以关联HBase外部表进行联邦计算,或将MaxCompute数据输出到HBase表。目前读写HBase外部表处于公测阶段,不收取计算费用,也暂时不保证SLA。

2021-02-08

  • 华北2(北京)

  • 华东2(上海)

  • 华北3(张家口)

  • 华东1(杭州)

HBase外部表(HBase标准版或增强版)

MaxCompute命令行支持关闭表头显示,便于Shell调用

Shell(或Windows命令行)执行窗口,用户可能会需要使用odpscmd -e SQL语句执行得到的动态返回值,Shell的变量会获取这个动态返回值,然后在Shell中执行后续作业。此场景需要返回值不包含运行信息、表头等额外信息。您可以通过set odps.sql.select.output.format={needHeader:false,fieldDelim:""};关掉表头显示,将计算结果stdout部分输出到目标句柄。

2021-02-08

全部地域

使用本地客户端(odpscmd)连接

MaxCompute外部表OSS写入场景能力增强

MaxCompute支持使用OSS的分片上传(Multipart Upload)功能,在INSERT操作向OSS外部表写入数据时,提高写数据效率。此外MaxCompute写入到OSS外部表的数据,会存储在LOCATION目录下的.odps文件夹中,并维护了一个.meta文件,用于保证MaxCompute数据的一致性。.odps文件夹中的内容只有MaxCompute能正确处理,其他引擎读取可能报错。MaxCompute新增 odps.sql.unstructured.oss.commit.mode属性,设置为true时(默认为false),MaxCompute使用分片上传功能,且以two-phase commit的方式保证数据的一致性,同时也不会有.odps目录以及.meta文件,以便兼容其他数据处理引擎读取。

2021-02-08

全部地域

将数据写入OSS

MaxCompute外部表Hive兼容模式支持用户自定义Serde

MaxCompute提供了兼容Hive Serde接口处理开源格式数据的能力,并对各种常见的数据格式都有内建的默认的Serde Class进行处理。如果用户有数据格式要指定自定义的ROW FORMAT SERDE,在建外部表的时候需要指定依赖的资源,添加JAR包,并在建表时定义using jar的方式,使用自定义的Serde类实现外部表对特殊数据格式的兼容。

2021-02-08

全部地域

支持开源格式数据

MaxCompute内建函数新增或增强

变更点如下:

  • 增强日期函数datedatediffdatepartdatetruncDATE、TIMESTAMP日期数据类型的支持。

  • 新增字符串函数parse_urlURL进行解析;新增base64unbase64函数实现二进制和BASE64格式字符串互转。

  • 聚合函数增加过滤条件表达式支持,可以对select子句中某个聚合函数指定过滤条件,便于您在同一个聚合语句中单独控制某个聚合函数的数据范围。新增count_if函数对满足if条件的记录进行计数。

  • 其他函数新增stack,将指定数据分隔为n行,兼容HiveSpark SQL函数用法。新增get_user_id获取当前账号的账号ID。新增array_intersect,用于计算两个array的交集。sort_array增加isAsc参数,对给定数组排序时让用户选择是升序还是降序,默认是升序。

2021-02-08

全部地域

MaxCompute推出FreerideAnalyze两种优化器元数据收集工具

MaxCompute目前提供两种方式收集表的元数据:

  • 异步收集(Analyze):需要您通过命令对表进行主动、异步收集。扫描表数据会产生计费。

  • 同步收集(Freeride):需要您在create table ... as ...insert语句前设置运行参数,配置收集计划启用Freeride功能,在数据生成的同时,自动收集列统计信息。这种方式更加自动化,但对查询时延有影响。

2021-02-08

全部地域

优化器

MaxCompute支持RDS外部表(公测)

MaxCompute支持通过专有网络连接方案,访问用户的RDS。用户完成网络连通和授权,可以创建RDS外部表并读写RDS中的数据。使用RDS外部表,用户可以同步RDS中的数据(例如维度数据、业务数据)到MaxCompute进行后续ETL处理,也可以关联RDS外部表进行联邦计算,或将MaxCompute数据输出到RDS数据库。当前读写RDS外部表处于公测阶段,不收取计算费用,也暂时不保证SLA。

2021-02-08

全部地域

RDS外部表

MaxCompute外部表支持通过JDBC方式读写MC-Hologres(公测)

MaxCompute外部表支持使用数据库JDBC驱动机制访问MC-Hologres数据源数据。您可以使用在MaxCompute上创建MC-Hologres外部表的方式,基于PostgreSQL JDBC驱动查询MC-Hologres数据源的数据。该方式无冗余存储,无需导入导出数据,可实现快速获取查询结果。当前读写MC-Hologres外部表处于公测阶段,不收取计算费用,也暂时不保证SLA。

2021-02-08

全部地域

Hologres外部表

MaxCompute支持通过UNLOAD命令把数据导出到OSS外部存储

MaxCompute支持通过UNLOAD命令导出数据到OSS,方便用户使用OSS存储结构化数据,并方便用户使用OSS上其他计算引擎处理和分析MaxCompute导出的数据。

2021-02-08

全部地域

UNLOAD

MaxCompute SQLML功能商业化发布

MaxCompute SQLML可以让数据工程师、分析师和数据科学家使用SQL语言在MaxCompute中创建、训练和应用机器学习模型,使SQL从业人员利用现有的SQL工具和技能就能应用机器学习的能力,同时无需做数据迁移,实现机器学习的普惠。

2021-02-01

全部地域

01

功能名称

功能描述

发布时间

发布地域

相关文档

MaxCompute存储服务单价调整

2021110日起,MaxCompute数据存储服务由阶梯定价调整为固定定价,新定价将降低中小数据规模客户的MaxCompute存储成本:MaxCompute存储由梯度定价(小于等于10 TB单价:0.0072元/GB/天、大于10 TB小于等于100 TB单价:0.006元/GB/天、大于100 TB单价:0.004元/GB/天)调整为统一定价:0.12元/GB/月(即0.004元/GB/天)

2021-01-10

全部地域

存储费用

2020

12

功能名称

功能描述

发布时间

发布区域

相关文档

流式数据写入服务(Streaming Tunnel)开始公测

MaxCompute Streaming Tunnel服务,支持通过API方式实现流式数据无感知高QPS写入MaxCompute。

2020-12-28

所有区域

流式数据通道概述

新建Project默认提供Information Schema服务

新建的Project,无需管理员手动安装,默认自动提供Information Schema元数据服务,便于用户查看使用。

2020-12-21

所有区域

项目级别Information Schema(即将下线)

运行中作业快照Information_Schema.Tasks内测发布

Information_Schema.Tasks视图方式,提供当前运行中作业的详细信息,包括作业列表以及各作业CPU、内存使用大小和资源占比、运行时长等信息。通过该视图,使用人员可以快速定位运行时间较长的慢作业、资源消耗高的大作业,从而有针对性地进行作业优化或资源容量规划。

2020-12-08

无。

元数据视图列表

按量计费SQL支持日累计消费限制

MaxCompute发布按量计费SQL日累计消费限制功能,提供对整个Project标准SQL日累计消费限制。Project内当日标准SQL发生的计量累计消费与正在发起的标准SQL预估消费总和大于设定的值,则正发起SQL会被限制执行,返回失败状态并给出失败信息,通过此功能阻止标准SQL日累计消费超出预算。在设置前,需要充分评估日常的消费量,并设置合理的值,避免累计消费超过值之后SQL作业无法执行耽误业务产出。如果发现设置不合理,Project Owner或拥有SuperAdministrator权限的管理员也可以随时进行调整。

2020-12-07

所有区域

消费监控告警

查询编辑器支持查询加速提升数据分析能力

MaxCompute数据分析查询模式原先是离线模式,此次发布查询模式支持MaxCompute查询加速,对于中、小数据量查询作业将执行时间从分钟级缩减至秒级,即查速度上提升至秒级。 通过MaxCompute查询编辑器发起查询SQL,会优先通过查询加速进行查询。若满足查询加速要求,则秒级返回结果;若不满足查询加速条件,则会回退至离线查询模式,保障查询作业正常执行。结合数据分析的丰富的Web-Excel分析功能,数据分析师可以通过MaxCompute数据分析一站式快速进行数据查询、结果二次分析、分享。MaxCompute查询加速功能主要支持按量计费资源,若项目使用包年包月资源,暂时无法满足查询加速要求。

2020-12-05

所有区域

使用DataWorks连接

11

功能名称

功能描述

发布时间

发布区域

相关文档

MaxCompute支持消息队列Kafka版通过Connector持续导入数据

MaxCompute与消息队列Kafka版服务紧密集成,借助消息队列Kafka版服务的MaxCompute Sink Connector,无需第三方工具及二次开发,即可满足将指定Topic数据持续导入MaxCompute数据表的需求。极大简化Kafka消息队列数据进入MaxCompute的集成链路,并显著降低开发和运维成本。

2020-11-27

全部区域

使用Kafka(离线与实时)

MaxCompute支持以RAM角色身份访问使用服务

MaxCompute项目空间在云账号、RAM用户基础上,增加对RAM角色的支持。管理员可添加RAM角色到项目空间并对RAM角色赋权,通过STS认证方式登录访问服务,实现无AccessKey认证的安全访问需求。MaxCompute Web控制台支持以STS访问认证,使用RAM角色在Web控制台操作访问MaxCompute项目空间,进行数据分析、数据开发。

2020-11-24

全部区域

用户认证

10

功能名称

功能描述

发布时间

发布区域

相关文档

SEMI JOIN支持MAPJOIN Hint

SEMI JOIN支持MAPJOIN Hint,提高LEFT SEMIANTI JOIN的性能,为数据倾斜问题提供解决方案。

2020-10-30

全部区域

SEMI JOIN(半连接)

MaxCompute支持SORT BY不带 DISTRIBUTE BY

MaxCompute支持不带DISTRIBUTE BYSORT BY,提供数据重排的解决方案,提高SQL执行的过滤性能。当SORT BY语句前没有DISTRIBUTE BY时,能够增加存储压缩率,同时读取的时候如果有过滤,能够利用这个信息减少真正从磁盘读取的数据量,提高后续进行全局排序的效率。

2020-10-30

全部区域

SELECT语法

OSS外部表CSV/TSV文件支持GBK编码格式

OSS外部表odps.text.option.encoding原先支持UTF-8、UTF-16US-ASCII,新版本支持GBK编码格式。

2020-10-30

全部区域

创建OSS外部表

批量Drop Partition支持条件筛选

如果用户希望一次性删除符合某个规则条件的一个或多个分区,可以使用条件表达式匹配分区进行批量删除。

2020-10-30

全部区域

分区操作

新增WIDTH_BUCKET函数且时间函数的输入数据类型增加DATETIME

新增WIDTH_BUCKET函数获取某个字段值落入的分组编号。时间函数YEAR/QUARTER/MONTH/DAY/HOUR/MINUTE/SECOND增加对DATETIME输入数据类型的支持。

2020-10-30

全部区域

写表支持ZORDER BY语句

支持把数据相近的行排列在一起,提升查询时的过滤性能,一定程度上也能降低存储成本。

2020-10-30

全部区域

插入或覆写数据(INSERT INTO | INSERT OVERWRITE)

MaxCompute查询加速(MCQA)商业化发布

MaxCompute的查询加速功能可以在EB级数据仓库服务内提供弹性并发的秒级查询能力,在MaxCompute原先吞吐量优化的基础上,补足对延迟优先场景的支持能力。查询加速让MaxCompute一个服务同时满足数据准备(ETL)、数据挖掘(机器学习)、数据探索(Ad-hoc)、报表分析等多使用场景需要。通过自动识别短查询作业并加速处理、快速响应查询结果的方式,增强了MaxCompute SQL的整体处理性能,满足报表分析、即席查询场景的使用要求。

2020-10-12

全部区域

MCQA概述

09

功能名称

功能描述

发布时间

发布区域

相关文档

MaxCompute提供新版控制台

MaxComputeMaxCompute用户提供新版Web控制台。新版用户界面和新功能简化了用户在服务开通、项目创建、计算资源管理及监控、SQL查询分析方面的操作使用。用户可以在一个更简单易用的界面里快速创建数据仓库环境、管理和监控计算资源及作业、开展数据分析探查。新版控制台功能点如下:

  • 提供简单易用的数据查询分析编辑器(Query Editor),缩短了日常SQL分析的操作路径。

  • 提供电子表格(Web Excel)丰富、便捷的数据分析功能,其操作与Office Excel高度一致,用户可以快速上手实现线上数据查询、分析快捷操作。

  • 默认开放MaxCompute公开数据集,可直接基于公开数据集进行体验、测试。

  • 集成了MaxCompute项目创建管理、资源管理相关功能,管理员可快速进行数据管理、计算资源管理及监控以及用户管理。

2020-09-29

全部区域

MaxCompute作业监控诊断工具Logview功能升级发布

Logview 2.0扩展了MaxCompute作业的监控指标,提供作业回放功能,新增Fuxi Sensor支持查看作业内存及CPU使用情况。

2020-09-10

全部区域

使用Logview 2.0查看作业运行信息

备份与恢复功能商业化发布

MaxCompute提供数据备份与恢复功能,系统会自动备份数据的历史版本(例如被删除或修改前的数据)并保留一定时间,您可以对保留周期内的数据进行快速恢复,避免因误操作丢失数据。

2020-09-01

全部区域

备份与恢复

08

功能名称

功能描述

发布时间

发布区域

相关文档

数据科学(Mars)功能商业化发布

Mars是一个基于张量的统一分布式计算框架。Mars能利用并行和分布式技术,加速Python数据科学栈,包括Numpy、PandasScikit-learn。

2020-08-31

全部区域

查询加速MCQA(MaxCompute Query Acceleration)功能公测发布

MaxComputeMCQA功能可以对中、小型查询作业进行加速优化,将执行时间为分钟级的查询作业缩减至秒级,且兼容原查询功能。

2020-08-31

全部区域

07

功能名称

功能描述

发布时间

发布区域

相关文档

新增项目的默认数据类型版本从1.0变更为2.0

MaxCompute通过DataWorks控制台新增项目时,项目的默认数据类型版本从1.0变更为2.0。

2020-07-29

全部区域

Python UDF支持更多数据类型

  • Python 2 UDFPython 3 UDF支持的数据类型增加DECIMAL、数据类型2.0DECIMAL、复杂数据类型(ARRAY、MAPSTRUCT)和复杂数据类型嵌套。

  • Python 3 UDFget_cache_table引用的资源表支持BIGINT、STRING、DOUBLE、BOOLEAN、DATETIME、DECIMAL、数据类型2.0DECIMAL、FLOAT、CHAR、VARCHAR、BINARY、DATE、ARRAY、MAPSTRUCT数据类型。

2020-07-24

全部区域

新增聚合函数

MaxCompute新增聚合函数APPROX_DISTINCT(value)ANY_VALUE(value)ARG_MAX(valueToMaximize, valueToReturn)ARG_MIN(valueToMinimize, valueToReturn)

2020-07-24

全部区域

聚合函数

支持代码嵌入式UDF

代码嵌入式UDF支持将JavaPython代码嵌入SQL脚本。您可以将SQL脚本和第三方代码放入同一个源码文件,减少使用UDTUDF的操作步骤,方便日常开发。

2020-07-24

全部区域

UDF(嵌入式)

支持SQL语言定义函数

MaxCompute支持通过SQL语言定义函数(SQL Function)在SQL脚本中使用SQL定义的UDF。

2020-07-24

全部区域

UDF(SQL自定义函数)

支持设置使用包年包月计算资源Project的作业优先级

您可以通过MaxCompute设置使用包年包月计算资源Project的作业优先级,优先保障高优先级作业的计算资源。当高优先级作业启动时,可以抢占低优先级作业的计算资源。

2020-07-24

全部区域

作业优先级

备份与恢复

MaxCompute提供数据备份与恢复功能,系统会自动备份数据的历史版本(例如被删除或修改前的数据)并保留一定时间,您可以对保留周期内的数据进行快速恢复,避免因误操作丢失数据。

2020-07-01

全部区域

备份与恢复

06

功能名称

功能描述

发布时间

发布区域

相关文档

新增项目支持选择数据类型版本

通过MaxCompute创建新项目时,您需要指定初始化数据类型版本。

2020-06-30

全部区域

数据类型版本说明

05

功能名称

功能描述

发布时间

发布区域

相关文档

支持创建PyODPS 3节点

MaxCompute支持Python 3。您可以通过DataWorks创建PyODPS 3节点,提升数据处理能力。

2020-05-22

全部区域

开发PyODPS 3任务

日志审计

MaxCompute完整地记录用户的各项操作行为,并通过阿里云ActionTrail服务将用户行为日志实时推送给ActionTrail。您可以在ActionTrail中查看和检索用户行为日志,同时通过ActionTrail将日志投递到日志服务项目或指定的OSS Bucket中,满足实时审计、问题回溯分析等需求。

2020-05-12

全部区域

审计日志

MMA迁移工具升级为2.0版本

MMA在功能和架构上实现重大升级,支持C/S架构,实现队列的智能化调度管理、数据迁移中的自动重试、断点续传、数据校验和增量更新功能。相比1.0版本提升了易用性、稳定性和迁移效率。

2020-05-08

全部区域

MMA概述

04

功能名称

功能描述

发布时间

发布区域

相关文档

Policy支持GRANT方式授权

MaxCompute支持通过GRANT命令实现Policy授权,授权操作更加便捷。

2020-04-23

全部区域

Policy权限控制

限制单SQL消费

MaxCompute支持监控单个SQL语句的消费,在SQL语句执行前先预估SQL语句的消费,预防单个SQL语句产生意料之外的高额费用。

2020-04-14

全部区域

消费监控告警

03

功能名称

功能描述

发布时间

发布区域

相关文档

新增LOAD命令

您可以通过LOAD命令从外部存储(例如OSSOTS)将数据导入表或表分区。

2020-03-17

全部区域

LOAD

新增5个内建函数

MaxCompute新增5个内建函数:TABLE_EXISTS()PARTITION_EXISTS()MUMERIC_HISTOGRAM()PERCENTILE_APPROX()FORMAT_NUMBER()

2020-03-17

全部区域

02

功能名称

功能描述

发布时间

发布区域

相关文档

支持取消表的生命周期

您可以通过DISABLE LIFECYCLE参数,取消表的生命周期。

2020-02-26

全部区域

生命周期操作

新增CLONE TABLE命令

CLONE TABLE可以复制表数据到另一个表。

2020-02-26

全部区域

CLONE TABLE

升级GROUPING SETS

MaxCompute扩充GROUPING SETS,支持CUBEROLLUPGROUPING SETS嵌套使用。

2020-02-26

全部区域

GROUPING SETS

支持通过HTTPS获取外部表数据

如果需要底层通过HTTPS获取数据,您可以将命令set odps.sql.unstructured.data.oss.use.https=true;SQL语句一起提交执行。

2020-02-26

全部区域

创建OSS外部表

外部表支持MSCK REPAIR TABLE语法

MaxCompute支持根据数据所在的OSS文件路径自动补全外部表分区。

2020-02-26

全部区域

创建OSS外部表

支持SQL中列名书写智能纠错

运行SQL时,如果输入的字段名有误,SQL引擎将进行联想并提示您正确的字段名。

2020-02-26

全部区域

公告

支持Python 3 UDF

Python 2官方即将停止维护,MaxCompute支持Python 3。

2020-02-26

全部区域

UDF开发(Python3)

Tunnel增加overwrite参数

指定上传数据是否覆盖表或分区。

2020-02-21

全部区域

Tunnel命令

01

功能名称

功能描述

发布时间

发布区域

相关文档

支持DATECHAR数据类型

您可以通过打开MaxCompute数据类型2.0,在创建或读取表的数据时,使用DATECHAR数据类型。

2020-01-03

全部区域

数据类型版本说明

支持指定作业的Quota

您可以通过set odps.task.quota.preference.tag=tag_name;指定作业的Quota组,即配额组。

2020-01-03

全部区域

SET操作

2019

12

功能名称

功能描述

发布时间

发布区域

相关文档

支持开源地理空间UDF

您可以通过开源地理空间UDF分析空间数据。

2019-12-25

全部区域

UDF(地理空间)

新增包年包月非预留计算资源版

购买后系统不预留资源,任务发起后,系统会在总资源池抢占并分配空闲资源。如果总资源池中空闲资源充足则可能为您分配所购买的最大CU量。如果总资源池繁忙则可能为您分配0 CU。MaxCompute可保障您购买的非预留计算资源全天50%的计算力(一天计算力:资源数量×24小时)。

2019-12-20

全部区域

包年包月非预留计算资源

11

功能名称

功能描述

发布时间

发布区域

相关文档

动态脱敏

MaxCompute提供对SQL查询任务结果的动态脱敏功能,可以帮助您有效地保护个人身份识别数据。

2019-11-22

全部区域

数据动态脱敏

支持通过Tableau连接MaxCompute

您可以通过MaxCompute JDBC驱动,使用TableauMaxCompute上的数据进行可视化分析。

2019-11-18

全部区域

配置JDBC使用Tableau

新增MaxCompute JDBC驱动

MaxCompute JDBC驱动是MaxCompute提供的Java数据库连接(Java Database Connectivity)接口。您可以通过标准的JDBC接口基于MaxCompute执行海量数据的分布式计算查询。

2019-11-18

全部区域

JDBC概述

10

功能名称

功能描述

发布时间

发布区域

相关文档

支持一次增加或删除多个分区

MaxComputeDDL语义升级,支持一次增加或删除多个分区的操作。您可以执行批量的分区管理操作,提升数据仓库管理效率。

2019-10-28

全部区域

公告

支持新运算符

新增IS [NOT] DISTINCT FROM和字符串连接操作符||

2019-10-28

全部区域

公告

支持NATURAL JOIN

支持自然连接NATURAL JOIN,提升MaxCompute SQL引擎的JOIN能力。

2019-10-28

全部区域

JOIN

支持指定表的列默认值

您创建表时可以指定列的默认值。

2019-10-28

全部区域

公告

支持LIMIT OFFSET

支持LIMIT OFFSET,提升MaxCompute SQL引擎能力。

2019-10-28

全部区域

SELECT语法

支持odps.sql.orderby.position.alias以及odps.sql.groupby.position.alias

支持odps.sql.orderby.position.alias以及odps.sql.groupby.position.alias,对应ORDER BYGROUP BY中的整型常量被当做SELECT的列序号处理。

2019-10-28

全部区域

SELECT语法

新增内置函数JSON_TUPLE()EXTRACT()

新增内置函数JSON_TUPLE()EXTRACT(),提升SQL处理能力。

2019-10-28

全部区域

支持通过括号指定JOIN的优先级

支持通过括号指定JOIN的优先级。

2019-10-28

全部区域

JOIN

支持合并分区

如果分区数量多,您可以通过合并分区功能,对数据进行归档。

2019-10-28

全部区域

分区操作

支持设置IP白名单

MaxCompute支持设置VPC网络的IP白名单。

2019-10-28

全部区域

管理IP白名单

09

功能名称

功能描述

发布时间

发布区域

相关文档

支持配置Tunnel监控报警

您可以在阿里云的云监控服务中配置监控报警,监测Tunnel上传下载的使用情况。

2019-09-30

全部区域

监控报警

支持配置按量付费作业消费监控报警

您可以在阿里云的云监控服务中配置监控报警,监测按量付费作业消费情况。

2019-09-30

全部区域

监控报警

支持元数据服务

MaxComputeInformation Schema提供了项目元数据及使用历史数据等信息。

2019-09-06

全部区域

Information Schema概述

存储降价

MaxCompute存储计费于201991日进行降价,原5个阶梯价调整为3个阶梯价,同时阶梯单价向下调整。

2019-09-01

全部区域

无。

07

功能名称

功能描述

发布时间

发布区域

相关文档

支持Spark服务

Spark on MaxComputeMaxCompute提供的兼容开源Spark的计算服务。它在统一的计算资源和数据集权限体系之上,提供Spark计算框架,支持您以熟悉的开发使用方式提交运行Spark作业,满足更丰富的数据处理分析需求。

2019-07-23

全部区域

概述

新增西南(成都)区域

MaxCompute服务在西南(成都)区域开通。

2019-07-04

西南(成都)

无。

06

功能名称

功能描述

发布时间

发布区域

相关文档

UDT支持获取ExecutionContext对象

UDT可以获取 ExecutionContext对象从而访问当前的execution context。

2019-06-25

全部区域

UDT概述

UDT支持函数重载

UDT支持泛型、类继承和变长参数,为您提供灵活的函数定义方式。

2019-06-25

全部区域

UDT概述

UDTFUDAF支持动态参数

UDAFUDTF支持动态参数,扩展Resolve注解的语法,使UDF的开发更加灵活。

2019-06-24

全部区域

UDAFUDTF动态参数说明

UDF支持分区裁剪

UDF支持分区裁剪,为您降低计算成本。

2019-06-24

全部区域

无。

参数化视图

参数化视图支持传入任意表或者其它变量,定制视图。

2019-06-24

全部区域

参数化视图

支持生成建表DDL语句

您可以通过SHOW CREATE TABLE语句生成创建表的SQL DDL语句,方便通过SQL重建Schema。

2019-06-24

全部区域

表操作

支持配置包年包月作业消费监控报警

您可以在阿里云的云监控服务中配置监控报警,监测包年包月作业消费情况。

2019-06-21

全部区域

监控报警

05

功能名称

功能描述

发布时间

发布区域

相关文档

包年包月套餐包含计算资源和存储资源

MaxCompute的包年包月套餐新增规格类型,购买套餐即包含计算资源和存储资源。

2019-05-07

全部区域

包年包月套餐版