本文为您提供MaxCompute产品的重要功能发布信息。

MaxCompute的重要功能发布详情请参见产品重大更新

2020-10

功能名称 功能描述 发布时间 发布区域 相关文档
SEMI JOIN支持MAPJOIN Hint SEMI JOIN支持MAPJOIN Hint,提高LEFT SEMI或ANTI JOIN的性能,为数据倾斜问题提供解决方案。 2020-10-30 全部区域 SEMI JOIN
MaxCompute支持SORT BY不带 DISTRIBUTE BY MaxCompute支持不带DISTRIBUTE BY的SORT BY,提供数据重排的解决方案,提高SQL执行的过滤性能。当SORT BY语句前没有DISTRIBUTE BY时,能够增加存储压缩率,同时读取的时候如果有过滤,能够利用这个信息减少真正从磁盘读取的数据量,提高后续进行全局排序的效率。 2020-10-30 全部区域 SELECT语法介绍
OSS外部表CSV/TSV文件支持GBK编码格式 OSS外部表odps.text.option.encoding原先支持UTF-8、UTF-16和US-ASCII,新版本支持GBK编码格式。 2020-10-30 全部区域 内置Extractor访问OSS
批量Drop Partition支持条件筛选 如果用户希望一次性删除符合某个规则条件的一个或多个分区,可以使用条件表达式匹配分区进行批量删除。 2020-10-30 全部区域 分区和列操作
新增WIDTH_BUCKET函数且时间函数的输入数据类型增加DATETIME 新增WIDTH_BUCKET函数获取某个字段值落入的分组编号。时间函数YEAR/QUARTER/MONTH/DAY/HOUR/MINUTE/SECOND增加对DATETIME输入数据类型的支持。 2020-10-30 全部区域
写表支持ZORDER BY语句 支持把数据相近的行排列在一起,提升查询时的过滤性能,一定程度上也能降低存储成本。 2020-10-30 全部区域 更新表数据(INSERT OVERWRITE and INSERT INTO)
MaxCompute查询加速(MCQA)商业化发布 MaxCompute的查询加速功能可以在EB级数据仓库服务内提供弹性并发的秒级查询能力,在MaxCompute原先吞吐量优化的基础上,补足对延迟优先场景的支持能力。查询加速让MaxCompute一个服务同时满足数据准备(ETL)、数据挖掘(机器学习)、数据探索(Ad-hoc)、报表分析等多使用场景需要。通过自动识别短查询作业并加速处理、快速响应查询结果的方式,增强了MaxCompute SQL的整体处理性能,满足报表分析、即席查询场景的使用要求。 2020-10-12 全部区域 MCQA概述

2020-09

功能名称 功能描述 发布时间 发布区域 相关文档
MaxCompute提供新版控制台 MaxCompute向MaxCompute用户提供新版Web控制台。新版用户界面和新功能简化了用户在服务开通、项目创建、计算资源管理及监控、SQL查询分析方面的操作使用。用户可以在一个更简单易用的界面里快速创建数据仓库环境、管理和监控计算资源及作业、开展数据分析探查。新版控制台功能点如下:
  • 提供简单易用的数据查询分析编辑器(Query Editor),缩短了日常SQL分析的操作路径。
  • 提供电子表格(Web Excel)丰富、便捷的数据分析功能,其操作与Office Excel高度一致,用户可以快速上手实现线上数据查询、分析快捷操作。
  • 默认开放MaxCompute公开数据集,可直接基于公开数据集进行体验、测试。
  • 集成了MaxCompute项目创建管理、资源管理相关功能,管理员可快速进行数据管理、计算资源管理及监控以及用户管理。
2020-09-29 全部区域
MaxCompute作业监控诊断工具Logview功能升级发布 Logview 2.0扩展了MaxCompute作业的监控指标,提供作业回放功能,新增Fuxi Sensor支持查看作业内存及CPU使用情况。 2020-09-10 全部区域 使用Logview 2.0查看Job运行信息
备份与恢复功能商业化发布 MaxCompute提供数据备份与恢复功能,系统会自动备份数据的历史版本(例如被删除或修改前的数据)并保留一定时间,您可以对保留周期内的数据进行快速恢复,避免因误操作丢失数据。 2020-09-01 全部区域 备份与恢复

2020-08

功能名称 功能描述 发布时间 发布区域 相关文档
数据科学(Mars)功能商业化发布 Mars是一个基于张量的统一分布式计算框架。Mars能利用并行和分布式技术,加速Python数据科学栈,包括Numpy、Pandas和Scikit-learn。 2020-08-31 全部区域
查询加速MCQA(MaxCompute Query Acceleration)功能公测发布 MaxCompute的MCQA功能可以对中、小型查询作业进行加速优化,将执行时间为分钟级的查询作业缩减至秒级,且兼容原查询功能。 2020-08-31 全部区域

2020-07

功能名称 功能描述 发布时间 发布区域 相关文档
新增项目的默认数据类型版本从1.0变更为2.0 MaxCompute通过DataWorks控制台新增项目时,项目的默认数据类型版本从1.0变更为2.0。 2020-07-29 全部区域
Python UDF支持更多数据类型
  • Python 2 UDF和Python 3 UDF支持的数据类型增加DECIMAL、数据类型2.0的DECIMAL、复杂数据类型(ARRAY、MAP和STRUCT)和复杂数据类型嵌套。
  • Python 3 UDF中get_cache_table引用的资源表支持BIGINT、STRING、DOUBLE、BOOLEAN、DATETIME、DECIMAL、数据类型2.0的DECIMAL、FLOAT、CHAR、VARCHAR、BINARY、DATE、ARRAY、MAP和STRUCT数据类型。
2020-07-24 全部区域
新增聚合函数 MaxCompute新增聚合函数APPROX_DISTINCT(value)ANY_VALUE(value)ARG_MAX(valueToMaximize, valueToReturn)ARG_MIN(valueToMinimize, valueToReturn) 2020-07-24 全部区域 聚合函数
支持代码嵌入式UDF 代码嵌入式UDF支持将Java或Python代码嵌入SQL脚本。您可以将SQL脚本和第三方代码放入同一个源码文件,减少使用UDT或UDF的操作步骤,方便日常开发。 2020-07-24 全部区域 代码嵌入式UDF
支持SQL语言定义函数 MaxCompute支持通过SQL语言定义函数(SQL Function)在SQL脚本中使用SQL定义的UDF。 2020-07-24 全部区域 SQL语言定义函数
支持设置使用包年包月计算资源Project的作业优先级 您可以通过MaxCompute设置使用包年包月计算资源Project的作业优先级,优先保障高优先级作业的计算资源。当高优先级作业启动时,可以抢占低优先级作业的计算资源。 2020-07-24 全部区域 作业优先级
备份与恢复 MaxCompute提供数据备份与恢复功能,系统会自动备份数据的历史版本(例如被删除或修改前的数据)并保留一定时间,您可以对保留周期内的数据进行快速恢复,避免因误操作丢失数据。 2020-07-01 全部区域 备份与恢复

2020-06

功能名称 功能描述 发布时间 发布区域 相关文档
新增项目支持选择数据类型版本 通过MaxCompute创建新项目时,您需要指定初始化数据类型版本。 2020-06-30 全部区域 数据类型版本说明

2020-05

功能名称 功能描述 发布时间 发布区域 相关文档
支持创建PyODPS 3节点 MaxCompute支持Python 3。您可以通过DataWorks创建PyODPS 3节点,提升数据处理能力。 2020-05-22 全部区域 创建PyODPS 3节点
日志审计 MaxCompute完整地记录用户的各项操作行为,并通过阿里云ActionTrail服务将用户行为日志实时推送给ActionTrail。您可以在ActionTrail中查看和检索用户行为日志,同时通过ActrionTrail将日志投递到日志服务项目或指定的OSS Bucket中,满足实时审计、问题回溯分析等需求。 2020-05-12 全部区域 审计日志
MMA迁移工具升级为2.0版本 MMA在功能和架构上实现重大升级,支持C/S架构,实现队列的智能化调度管理、数据迁移中的自动重试、断点续传、数据校验和增量更新功能。相比1.0版本提升了易用性、稳定性和迁移效率。 2020-05-08 全部区域 MMA2.0迁移概述

2020-04

功能名称 功能描述 发布时间 发布区域 相关文档
Policy支持GRANT方式授权 MaxCompute支持通过GRANT命令实现Policy授权,授权操作更加便捷。 2020-04-23 全部区域 Policy和Download权限控制
限制单SQL消费 MaxCompute支持监控单个SQL语句的消费,在SQL语句执行前先预估SQL语句的消费,预防单个SQL语句产生意料之外的高额费用。 2020-04-14 全部区域 消费监控告警
升级MaxCompute管家 MaxCompute管家强化CU资源监控管理、提升作业查看和管理的易用性,方便您管理计算资源。 2020-04-13 全部区域 MaxCompute管家

2020-03

功能名称 功能描述 发布时间 发布区域 相关文档
新增LOAD命令 您可以通过LOAD命令从外部存储(例如OSS或OTS)将数据导入表或表分区。 2020-03-17 全部区域 LOAD
新增5个内建函数 MaxCompute新增5个内建函数:TABLE_EXISTS()PARTITION_EXISTS()MUMERIC_HISTOGRAM()PERCENTILE_APPROX()FORMAT_NUMBER() 2020-03-17 全部区域

2020-02

功能名称 功能描述 发布时间 发布区域 相关文档
支持取消表的生命周期 您可以通过DISABLE LIFECYCLE参数,取消表的生命周期。 2020-02-26 全部区域 生命周期操作
新增CLONE TABLE命令 CLONE TABLE可以复制表数据到另一个表。 2020-02-26 全部区域 CLONE TABLE
升级GROUPING SETS MaxCompute扩充GROUPING SETS,支持CUBEROLLUPGROUPING SETS嵌套使用。 2020-02-26 全部区域 GROUPING SETS
支持通过HTTPS获取外部表数据 如果需要底层通过HTTPS获取数据,您可以将命令set odps.sql.unstructured.data.oss.use.https=true;与SQL语句一起提交执行。 2020-02-26 全部区域 内置Extractor访问OSS
外部表支持MSCK REPAIR TABLE语法 MaxCompute支持根据数据所在的OSS文件路径自动补全外部表分区。 2020-02-26 全部区域 内置Extractor访问OSS
支持SQL中列名书写智能纠错 运行SQL时,如果输入的字段名有误,SQL引擎将进行联想并提示您正确的字段名。 2020-02-26 全部区域 公告
支持Python 3 UDF Python 2官方即将停止维护,MaxCompute支持Python 3。 2020-02-26 全部区域 Python 3 UDF
数据存储格式升级为AliORC MaxCompute存储格式升级为AliORC,系统自动升级,提高读写数据性能。 2020-02-26 全部区域 存储性能
Tunnel增加overwrite参数 指定上传数据是否覆盖表或分区。 2020-02-21 全部区域 Tunnel命令参考

2020-01

功能名称 功能描述 发布时间 发布区域 相关文档
支持DATE和CHAR数据类型 您可以通过打开MaxCompute数据类型2.0,在创建或读取表的数据时,使用DATE和CHAR数据类型。 2020-01-03 全部区域 数据类型版本说明
支持指定作业的Quota组 您可以通过set odps.task.quota.preference.tag=tag_name;指定作业的Quota组,即MaxCompute管家中的配额组。 2020-01-03 全部区域 SET操作

2019-12

功能名称 功能描述 发布时间 发布区域 相关文档
支持开源地理空间UDF 您可以通过开源地理空间UDF分析空间数据。 2019-12-25 全部区域 开源地理空间UDF
新增包年包月非预留计算资源版 购买后系统不预留资源,任务发起后,系统会在总资源池抢占并分配空闲资源。如果总资源池中空闲资源充足则可能为您分配所购买的最大CU量。如果总资源池繁忙则可能为您分配0 CU。MaxCompute可保障您购买的非预留计算资源全天50%的计算力(一天计算力:资源数量×24小时)。 2019-12-20 全部区域 包年包月非预留计算资源版

2019-11

功能名称 功能描述 发布时间 发布区域 相关文档
动态脱敏 MaxCompute提供对SQL查询任务结果的动态脱敏功能,可以帮助您有效地保护个人身份识别数据。 2019-11-22 全部区域 概述
支持通过Tableau连接MaxCompute 您可以通过MaxCompute JDBC驱动,使用Tableau对MaxCompute上的数据进行可视化分析。 2019-11-18 全部区域 配置JDBC使用Tableau
新增MaxCompute JDBC驱动 MaxCompute JDBC驱动是MaxCompute提供的Java数据库连接(Java Database Connectivity)接口。您可以通过标准的JDBC接口基于MaxCompute执行海量数据的分布式计算查询。 2019-11-18 全部区域 JDBC概述

2019-10

功能名称 功能描述 发布时间 发布区域 相关文档
支持一次增加或删除多个分区 MaxCompute的DDL语义升级,支持一次增加或删除多个分区的操作。您可以执行批量的分区管理操作,提升数据仓库管理效率。 2019-10-28 全部区域 公告
支持新运算符 新增IS [NOT] DISTINCT FROM和字符串连接操作符|| 2019-10-28 全部区域 公告
支持NATURAL JOIN 支持自然连接NATURAL JOIN,提升MaxCompute SQL引擎的JOIN能力。 2019-10-28 全部区域 JOIN
支持指定表的列默认值 您创建表时可以指定列的默认值。 2019-10-28 全部区域 公告
支持LIMIT OFFSET 支持LIMIT OFFSET,提升MaxCompute SQL引擎能力。 2019-10-28 全部区域 SELECT语法介绍
支持hive.orderby.position.alias以及hive.groupby.position.alias 支持hive.orderby.position.alias以及hive.groupby.position.alias,对应ORDER BY和GROUP BY中的整型常量被当做SELECT的列序号处理。 2019-10-28 全部区域 SELECT语法介绍
新增内置函数JSON_TUPLE()EXTRACT() 新增内置函数JSON_TUPLE()EXTRACT(),提升SQL处理能力。 2019-10-28 全部区域
支持通过括号指定JOIN的优先级 支持通过括号指定JOIN的优先级。 2019-10-28 全部区域 JOIN
支持合并分区 如果分区数量多,您可以通过合并分区功能,对数据进行归档。 2019-10-28 全部区域 分区和列操作
支持设置IP白名单 MaxCompute支持设置VPC网络的IP白名单。 2019-10-28 全部区域 设置IP白名单

2019-09

功能名称 功能描述 发布时间 发布区域 相关文档
支持配置Tunnel监控报警 您可以在阿里云的云监控服务中配置监控报警,监测Tunnel上传下载的使用情况。 2019-09-30 全部区域 监控报警
支持配置按量付费作业消费监控报警 您可以在阿里云的云监控服务中配置监控报警,监测按量付费作业消费情况。 2019-09-30 全部区域 监控报警
支持元数据服务 MaxCompute的Information Schema提供了项目元数据及使用历史数据等信息。 2019-09-06 全部区域 Information Schema概述
存储降价 MaxCompute存储计费于2019年9月1日进行降价,原5个阶梯价调整为3个阶梯价,同时阶梯单价向下调整。 2019-09-01 全部区域 无。

2019-07

功能名称 功能描述 发布时间 发布区域 相关文档
支持Spark服务 MaxCompute Spark是MaxCompute提供的兼容开源Spark的计算服务。它在统一的计算资源和数据集权限体系之上,提供Spark计算框架,支持您以熟悉的开发使用方式提交运行Spark作业,满足更丰富的数据处理分析需求。 2019-07-23 全部区域 MaxCompute Spark概述
新增西南(成都)区域 MaxCompute服务在西南(成都)区域开通。 2019-07-04 西南(成都) 无。

2019-06

功能名称 功能描述 发布时间 发布区域 相关文档
UDT支持获取ExecutionContext对象 UDT可以获取 ExecutionContext对象从而访问当前的execution context。 2019-06-25 全部区域 UDT概述
UDT支持函数重载 UDT支持泛型、类继承和变长参数,为您提供灵活的函数定义方式。 2019-06-25 全部区域 UDT概述
UDTF和UDAF支持动态参数 UDAF和UDTF支持动态参数,扩展Resolve注解的语法,使UDF的开发更加灵活。 2019-06-24 全部区域 动态参数说明
UDF支持分区裁剪 UDF支持分区裁剪,为您降低计算成本。 2019-06-24 全部区域 无。
参数化视图 参数化视图支持传入任意表或者其它变量,定制视图。 2019-06-24 全部区域 参数化视图
支持生成建表DDL语句 您可以通过SHOW CREATE TABLE语句生成创建表的SQL DDL语句,方便通过SQL重建Schema。 2019-06-24 全部区域 表操作
支持配置包年包月作业消费监控报警 您可以在阿里云的云监控服务中配置监控报警,监测包年包月作业消费情况。 2019-06-21 全部区域 监控报警

2019-05

功能名称 功能描述 发布时间 发布区域 相关文档
包年包月套餐包含计算资源和存储资源 MaxCompute的包年包月套餐新增规格类型,购买套餐即包含计算资源和存储资源。 2019-05-07 全部区域 包年包月套餐版